浏览器的工作原理:
客户端、浏览器、服务器之间的关系如上图
爬虫的工作原理
- 获取数据:根据我们提供的网址,向服务器发起请求,然后返回数据。
- 解析数据:爬虫程序会把服务器返回的数据解析成我们能读懂的格式。
- 提取数据:爬虫程序再从中提取出我们需要的数据。
- 储存数据:爬虫程序把这些有用的数据保存起来,便于你日后的使用和分析。
入门第一步【requests库】
我们将会利用一个强大的库——requests来获取数据
requests库可以帮我们下载网页源代码、文本、图片,甚至是音频。其实,“下载”本质上是向服务器发送请求并得到响应。
在电脑上安装方法是:
在Mac电脑里打开终端软件(terminal),输入pip3 install requests,然后点击enter即可;
Windows电脑里叫命令提示符(cmd),输入pip install requests 即可。
requests.get( )
import requests #引入requests库
res = requests.get('URL')
#requests.get是在调用requests库中的get()方法,它向服务器发送了一个请求,括号里的参数是你需要的数据所在的网址,然后服务器对请求作出了响应。
#我们把这个响应返回的结果赋值在变量res上。
requests.get()发送了请求,然后得到了服务器的响应。服务器返回的结果是个Response对象,现在存储到了我们定义的变量res中
Response对象的常用属性:
【1】response.status_code
import requests
res = requests.get('https://res.pandateacher.com/2018-12-18-10-43-07.png')