python爬虫技术（五）网络库requests

一、基本用法

1.1.requests的HelloWorld

学习任何一门技术，都会用一个超级简单的案例起步，这个案例统称为HelloWorld。学习requests我们也沿用这个习惯。

在开始使用requests之前，需要使用下面的命令安装requests.

pip install requests

urlib库中的urlopen方法实际上是以GET方式请求网页，而requests中对应的方法是get,该方法可以接受一个URL，然后又会返回一个对象，通过get方法的返回值，可以获取HTTP响应数据。

1.2.GET请求

向服务端发送HTTP GET请求是最常见的操作之一，如果只是简单地发送GET请求，只需将URL传入get方法即可。更想为GET请求指定参数，可以直接将参数加在URL后面，用问号（？）分隔，不过还有另外一种更好的方式，就是使用get方法的params参数，该参数需要是一个字典类型的值，在字典中每一对key-value,就是一对参数值。如果同时在URL中和params参数指定GET请求的参数，那么get方法会将参数合并。如果出现同名的参数，会用列表存储。也就是同名参数的值会按出现的先后顺序保存在列表中。

1.3.添加HTTP请求头

1.4.抓取二进制数据

1.5.POST请求

1.6.响应数据

二、高级用法

2.1.上传文件

2.2.处理Cookie

2.3.使用同一个会话（Session)

2.4.SSL证书验证

2.5.使用代理

2.6.超时

2.7.身份验证

2.8.将请求打包