【python】requests库的安装及使用方法

关于Requests库：适用于小规模，数据量小，爬取速度不敏感的爬虫。
1.安装
windows开始图标处右键选择 命令提示符（管理员）
在弹出的窗口中输入命令提示符pip install requests
由于这里安装库没有成功，导致下方调出库的时候提示no module named requests,在我把命令提示符那里改为 pip --default-timeout=100 install requests 这个问题就解决了。
pip --default-timeout=100 install +库名。

2.举个栗子-调出网页内容
打开python-lib-idlelib-idlebat文件,输入

>>> import requests #调出库
>>> r=requests.get("http://www.baidu.com") #获取网页信息
>>> r.status_code #获得状态码，为200表示访问成功，否则为失败
200
>>> r.encoding = 'utf-8'
>>> r.text

输出：
爬取的百度首页

3.requests库的7用法：

4.requests库的get()使用方法：

response对象的属性:

r.encoding并不能解析中文，而r.apparent_encoding可以。

6种常用的连接异常：

requests.connectTimeout 与requests.Timeout区别是，前者是指连接这一单程时间超时。而后者指的是整个来回过程超时。
5.爬取网页通用框架
可以有效处理在访问或者爬取网页过程中，可能出现的一些错误，或者网络不稳定的情况。

检验是否连接异常：r.raise_for_status()
异常处理，使用try…except语句

6.HTTP协议
超文本传输协议
HTTP是一种基于“请求与响应”模式，无状态的应用层协议。采用URL作为定位网络资源的标识。
用户发出请求，服务器做出响应。第一次响应与第二次无关。
7.requests库的request使用方法：
requests.request(method,url,**kwargs)
method:请求方法，包含GET,HEAD,POST,PUT,PATCH,delete,OPTIONS这7种。
**kwargs：是指能够加到url中的参数，是可选的，共13个访问控制参数。分别如下：
params:请求字典或者字节作为参数增加到url中。对URL进行修改。
data:字典，字节序列或文件对象。作为Request的内容。
json:JSON格式的数据，作为Request的内容。
headers:字典，HTTP定制头。
cookies:字典或CookiesJar,Requests中的cookies
auth:元组，支持HTTP认证功能。

files:字典类型，传输文件。向某个链接提交文件。
timeout:设定超时时间，秒为单位。如果在设定时间内请求内容没有返回回来，会出现timeout的异常。
proxies:字典类型，设定访问代理处理器，可以增加登录认证。可以有效隐藏用户爬取网页源的IP地址，防止对爬虫的逆追踪。
allow_redirects:一个开关。表示是否允许对URL进行重定向。
stream:一个开关。获取内容是否进行立即下载，默认情况是立即下载。
verify:认证SSL证书
cert:本地SSL证书路径。

8.requests库的get使用方法：

requests.get(method,url,**kwargs)
params:请求字典或者字节作为参数增加到url中。对URL进行修改。
kwargs:request方法中除了params的其他12个访问控制参数。
9.requests库的head使用方法：(常用)
requests.head(method,url,**kwargs)
kwargs有13个，与request相同。
10.requests库的post使用方法:
requests.post(url,data=None,json=None,**kwargs)
**kwargs:除了data,json的其他11个控制访问参数。
11. requests库的put使用方法:
requests.put(url,data=None,**kwargs)
**kwargs:除了data外的其他12个访问控制参数。
12.patch方法同put.
13.delete用法：
requests.delete(url,**kwargs)
14.get方法（常用）
requests.get(url,params=None,**kwargs)

观看北理工网络爬虫课程笔记