python网络爬虫与信息提取系列之Request库入门（五）

#中国大学慕课笔记#

Requests库主要方法解析

一、requests.request(method, url, **kwargs)

1.参数method：请求方式

• r = requests.request('GET', url ,**kwargs)
• r = requests.request('HEAD', url ,**kwargs)
• r = requests.request('POST', url ,**kwargs)
• r = requests.request('PUT', url ,**kwargs)
• r = requests.request('PATCH', url ,**kwargs)
• r = requests.request('delete', url ,**kwargs)
• r = requests.request('OPTIONS', url ,**kwargs)

2.参数**kwargs：控制访问参数，总共13个，均为可选项

• params：字典或字节序列，作为参数增加到 url 中

• data：字典、字节序列或文件对象，作为Request的内容，它重点是作为向服务器提供或提交资源时使用

• json：JSON格式的数据，作为Request的内容

• headers：字典，HTTP定制头

• cookies：字典或CookieJar, Request中的cookie
• auth：元组，支持HTTP认证功能
• files：字典类型，作用是传输文件

• timeout：设定超时时间，秒为单位
• proxies：字典类型，设定访问代理服务器，可以增加登录认证。使用这个可以有效隐藏用户爬取网页的原IP地址

• allow_redirects：True/False，默认为True，重定向开关（高级功能）
• stream：True/False，默认为True，获取内容立即下载开关（高级功能）
• verify：True/False，默认为True，认证SSL证书开关（高级功能）
• cert：本地SSL证书路径（高级功能）

二、requests.get(url, params=None, **kwargs)

url：拟获取页面的url链接

params：url中的额外参数，字典或字节流格式，可选

**kwargs：12个控制访问参数(除params)，同上。

三、requests.head(url, **kwargs)

url：拟获取页面的url链接

**kwargs：13个控制访问参数，同上。

四、requests.post(url, data=None, json=None, **kwargs)

url：拟获取页面的url链接

data：字典、字节序列或文件，Request内容

json：JSON格式的数据，Request内容

**kwargs：11个控制访问参数（除data、json），同上。

五、requests.patch(url, data=None,  **kwargs)

url：拟获取页面的url链接

data：字典、字节序列或文件，Request内容

**kwargs：12个控制访问参数（除data），同上。

六、requests.delete(url,  **kwargs)

url：拟获取页面的url链接

**kwargs：13个控制访问参数，同上。

七、requests.put(url, data=None,  **kwargs)

url：拟获取页面的url链接

data：字典、字节序列或文件，Request内容

**kwargs：12个控制访问参数（除data），同上。

注：

1.常用函数为request()和get()、head()

2.“网络连接有风险，异常处理很重要！”，入门级一定要使用try-except通用框架处理异常