python request_学习交流：21天搞定Python分布爬虫之request库(二)

21天搞定Python分布爬虫之request库(二)

视频课程请添加：

Python标准库中用来处理HTTP的模块是urllib，不过其中的API太零碎了，requests是更简单更人性化的第三方库。 一、cookie

如果在一个响应中包含了cookie，那么可以利用cookies属性拿到这个返回的cookie值。

import requestsurl='www.baidu.com'response = requests.get(url)print(response.cookie)print(response.cookie.get_dict())

二、session

之前使用urllib库，是可以使用opener发送多个请求，多个请求之间是可以共享cookie的。那么如果使用requests，也要达到共享cookie的目的，那么可以使用requests库给我们提供的session对象。注意，这里的session不是web开发中的那个session，这个地方只是一个会话的对象而已。还是以登录人人网为例，使用requests来实现。

import requestsdata={    'Email':'970138074@qq.com'    'password':'pythonspider'}headers={    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'}session=requests.Session()session.post(url,headers=headers,data=data)request=session.get('http://www.renren.com/880151247/profile')with open('renren.html','w',decoding('utf-8')) as fp:  fp.write(request.text)

三、处理不信任的 SSL证书

对于那些已经被信任的SSL整数的网站，比如https://www.baidu.com/，那么使用requests直接就可以正常的返回响应。

import requestsresponse=requests.get('不信任的URl', verify=False)print(response.text)