Requests数据抓取

Requests简介
Requests是Python的一个很实用的HTTP客户端。与urllib比，Requests是在urllib基础上进一步封装的，具备urllib的全部功能;语法简单易懂，兼容性较强。
请求方式
HTTP的常见请求是GET和POST，Requests区分两种不同的请求方式。
GET请求有两种，分别是不带参数和带参数。可以用“？”判断是否带有参数，如何需要带多个参数可以用&。需要设置params
POST请求需要设置data。
当向网站发送请求时，网站会返回相应的响应对象，包含服务器响应信息。
Requests提供以下方法获取响应内容。

复杂点的请求
复杂的请求通常会有请求、代理IP、证书验证和Cookies等功能。Requests将这些请求简化，将这些功能在发送请求中以参数的形式传递并作用到请求中。

1. 请求头:以字典的形式生成，发送请求中设置headers参数，指向已定义的请求头。
2. 代理IP:设置proxies参数。
3. 证书验证:一般设置关闭验证。在请求参数verify=False时就能关闭证书验证，默认情况为True。
4. 超时设置:请求会有一个时差。如果服务器在timeout秒内无应答，将引发一个异常。
5. Cookies:设置参数Cookies。Cookies作用是标识用户身份。