安装requests库
pip install requests
requests.get()
的具体用法如下
import requests
#引入requests库
res = requests.get('URL')
#requests.get是在调用requests库中的get()方法,它向服务器发送了一个请求,括号里的参数是你需要的数据所在的网址,然后服务器对请求作出了响应。
#我们把这个响应返回的结果赋值在变量res上。
Python是一门面向对象编程的语言,而在爬虫中,理解数据是什么对象是非常、特别、以及极其重要的一件事。因为只有知道了数据是什么对象,我们才知道对象有什么属性和方法可供我们操作。
例如爬取网站:http://lab.scrapyd.cn/
import requests
# 引入requests库
res = requests.get('http://lab.scrapyd.cn/')
#打印变量res的数据类型
print(type(res))
# <class 'requests.models.Response'>
显示“<class 'requests.models.Response'>”这代表着:res是一个对象,属于requests.models.Response
类。好,既然已经知道res
是一个Response
对象了,我们也就可以去了解它的相应属性和方法了。
Response
对象常用的四个属性: