网络爬虫-----Requests库入门

网络爬虫-----Requests库入门

1、requests.get()使用
requests.get(url)
url：拟获取页面的url链接
response对象的属性如下：

r.encoding:如果header种不存在charset，则认为编码为ISO-8859-1
r.apparent_encoding:根据网页内容分析出的编码方式
大概流程如下：
首先使用 r.status_code
返回200，则使用 r.text r.encoding r.apparent_encoding r.content
返回404或其它情况，则是因为某些原因出错，将产生异常

2、Requests库有六种异常，如下所示：

3、HTTP协议及Requests库方法

HTTP协议
URL格式 http://host[:port][path]
host:合法的Internet主机域名或IP地址
port：端口号，缺省端口为80
path：请求资源的路径

Requests库的主要七个方法

①requests.request(method,url,**kwargs)
method:请求方式
requests.request(‘GET’,url,**kwargs)
requests.request(‘HEAD’,url,**kwargs)
requests.request(‘POST’,url,**kwargs)
requests.request(‘PUT’,url,**kwargs)
requests.request('PATCH,url,**kwargs)
requests.request(‘DELETE’,url,**kwargs)
requests.request(‘OPTIONS’,url,**kwargs)
url:拟获取页面的url链接
**kwargs:控制访问的参数，均为可选项
params：字典或字节序列，作为参数增加到url中
data：字典、字节序列或文件对象，作为Request的内容
json：JSON格式数据，作为Request的内容
headers：字典，HTTP定制头
cookies：字典或CookieJar，Request中的cookie
auth：元组，支持HTTP认证功能
files：字典类型，传输文件
timeout：设定超时时间，秒为单位
proxies：字典类型，设定访问代理服务器，可以增加登录认证
allow_redirects:True/False，默认为True，重定向开关
stream：True/False，默认为True，获取内容立即下载开关
verify：True/False，默认为True，认证SSL证书开关
cert：本地SSL证书路径
②requests.get(url,params=None,**kwargs)
url:拟获取页面的url链接
params：url中的额外参数，字典或者字节流格式，可选
**kwargs：12个控制访问参数（除了①中的params，都一样）
③requests.head(url,**kwargs)
url：拟获取页面的url链接
**kwargs：13个控制访问参数
④requests.post(url,data=None,json=None,**kwargs)
url:拟获取页面的url链接
data：字典、字节序列或文件，request的内容
json：JSON格式的数据，request的内容
**kwargs：11个控制访问的参数
⑤requests.put(url,data=None,**kwargs)
url:拟获取页面的url链接data：字典、字节序列或文件，Request的内容
**kwargs：12个控制访问参数
⑥requests.patch(url,data=None,**kwargs)
url:拟获取页面的url链接
data：字典、字节序列或文件，request的内容
**kwargs：12个控制访问参数
⑦requests.delete(url,**kwargs)
url:拟删除页面的url链接
**kwargs：13个控制访问的参数

内容参考：https://www.icourse163.org/learn/BIT-1001870001?tid=1461055451#/learn/announce