python3-python中的cookie处理方式，以及headers的设置

一、Cookie的基本概念

1 基本概念

Cookie是一个保存在客户机中的简单的文本文件, 这个文件与特定的 Web 文档关联在一起, 保存了该客户机访问这个Web 文档时的信息, 当客户机再次访问这个 Web 文档时这些信息可供该文档使用。由于“Cookie”具有可以保存在客户机上的神奇特性, 因此它可以帮助我们实现记录用户个人信息的功能。
举例来说, 一个 Web 站点可能会为每一个访问者产生一个唯一的ID, 然后以 Cookie 文件的形式保存在每个用户的机器上。如果使用浏览器访问 Web, 会看到所有保存在硬盘上的 Cookie。

2 cookie的组成字段

Cookie是一段不超过4KB的小型文本数据，由一个名称（Name）、一个值（Value）和其它几个用于控制Cookie有效期、安全性、使用范围的可选属性组成。
由于headers中对cookie仅仅使用它的name和value，所以在代码中我们仅仅需要cookie的name和value即可。

3 使用cookie的利弊

• 带上cookie的好处
  • 能够访问登录后的页面；
  • 能够实现部分反反爬；
• 带上cookie的坏处
  • 一套cookie往往对应的是一个用户的信息，请求太频繁有更大的可能性被对方识别为爬虫；
  • 那么上面的问题如何解决 ?使用多个账号。

二 cookie在request中的使用

为了能够通过爬虫获取到登录后的页面，或者是解决通过cookie的反扒，需要使用request来处理cookie相关的请求。

2.1 使用requests处理cookie的几种方法

使用requests处理cookie有三种方法：

• cookie字符串放在headers中；
• 把cookie字典放传给请求方法的cookies参数接收；
• 使用requests提供的session模块。

2.2、在heades中添加cookie

• headers中的cookie：
  • 使用分号(;)隔开；
  • 分号两边的类似a=b形式的表示一条cookie；
  • a=b中，a表示键（name），b表示值（value）；
  • 在headers中仅仅使用了cookie的name和value。

2.3 在headers中使用cookie

复制浏览器中的cookie到代码中使用。

headers = {
   
"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36",
"Cookie":" Pycharm-26c2d973=dbb9b300-2483-478f-9f5a-16ca4580177e; Hm_lvt_98b9d8c2fd6608d564bf2ac2ae642948=1512607763; Pycharm-26c2d974=f645329f-338e-486c-82c2-29e2a0205c74; _xsrf=2|d1a3d8ea|c5b07851cbce048bd5453846445de19d|1522379036"}

requests.get(url,headers=headers)

注意：

cookie有过期时间 ，所以直接复制浏览器中的cookie可能意味着下一程序继续运行的时候需要替换代码中的cook