爬虫入门之requests模块介绍

身世

简介

Requests 继承了urllib2的所有特性。Requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。

requests 的底层实现其实就是 urllib3

文档

Requests的文档非常完备，中文文档也相当不错。Requests能完全满足当前网络的需求，支持Python 2.6—3.5，而且能在PyPy下完美运行。

开源地址：https://github.com/kennethreitz/requests

中文文档 API： http://docs.python-requests.org/zh_CN/latest/index.html

方法

• requests.get(…)
• requests.post(…)
• requests.put(…)
• requests.delete(…)
• …
• requests.request(‘POST’…)

模块参数与返回值

request.request的参数

Http请求头和响应头(Get和Post)

• method 提交方式
• url 提交地址
• data 在请求体里传递的数据

 requests.request(
                    method='POST',
                    url= 'http://www.oldboyedu.com',
                    params = {'k1':'v1','k2':'v2'},
                    data = {'use':'alex','pwd': '123','x':[11,2,3]}
                )

• json 在请求体里传递的数据
• params 在URL中传递的参数
  Requests 允许你使用 params 关键字参数，以一个字符串字典来提供这些参数。
  举例来说，如果你想传递 key1=value1 和 key2=value2 到 httpbin.org/get ，那么你可以使用如下代码：

>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.get("http://httpbin.org/get", params=payload)
>>>> print(r.url)

通过打印输出该 URL，你能看到 URL 已被正确编码：

http://httpbin.org/get?key1=value1&key2=value2

requests.request(
                    method='GET',
                    url= 'http://www.oldboyedu.com',
                    params = {'k1':'v1','k2':'v2'}
                )
                # http://www.oldboyedu.com?k1=v1&k2=v2

• cookies Cookies
  一个保存在客户机中的简单的文本文件, 这个文件与特定的 Web 文档关联在一起, 保存了该客户机访问这个Web 文档时的信息, 当客户机再次访问这个 Web 文档时这些信息可供该文档使用。由于“Cookie”具有可以保存在客户机上的神奇特性, 因此它可以帮助我们实现记录用户个人信息的功能, 而这一切都不必使用复杂的CGI等程序 。
  举例来说, 一个 Web 站点可能会为每一个访问者产生一个唯一的ID, 然后以 Cookie 文件的形式保存在每个用户的机器上。如果使用浏览器访问 Web, 会看到所有保存在硬盘上的 Cookie。在这个文件夹里每一个文件都是一个由“名/值”对组成的文本文件,另外还有一个文件保存有所有对应的 Web 站点的信息。在这里的每个 Cookie 文件都是一个简单而又普通的文本文件。透过文件名, 就可以看到是哪个 Web 站点在机器上放置了Cookie(当然站点信息在文件里也有保存) 。

• headers 请求头

• files 上传文件

• stream 流式请求

• auth 基本认知(headers中加入加密的用户名和密码)

• allow_redirecs 是否允许重定向

• timeout 请求和响应的超时时间

• verify 是否忽略证书

• cert 证书文件

• proxies 代理

返回值

参考：Python之Requests模块使用详解

session

用于保存客户端历史访问信息