谈谈曲奇（Cookie）的作用

最新推荐文章于 2022-02-15 10:09:09 发布

mydeman

最新推荐文章于 2022-02-15 10:09:09 发布

阅读量2.2k

点赞数 1

分类专栏： Web开发文章标签： HTTP Web Cookie 爬虫量化

本文链接：https://blog.csdn.net/mydeman/article/details/80767784

版权

Web开发专栏收录该内容

82 篇文章 0 订阅

订阅专栏

最近在使用南航的APP时，都会跳出一个提示：
这里写图片描述
说是要采集Cookie，并且承诺会保密存储。也许很多非技术的用户并不理解什么是Cookie，可是看到这种义正言辞的提示，也应该能知道Cookie看起来是一个很重要的东西，并且可能会和用户身份有关系。那Cookie到底是什么东西？又有什么作用呢？

无状态的HTTP/HTTPS协议

HTTP协议当前是几乎是所有应用甚至服务内部通信的标准协议，自己开发基于Socket的应用已经少之又少。而HTTP是一个无状态的协议。所谓无状态也就说客户端向服务器的每次都是独立的，之间是没有任何关联的，比如

如果基于基本的HTTP协议实现一个用户请求水果的场景，那么在第二步时，服务器端给的苹果就可能不是王五所需要的。很显然，这很不互联网，也很不人性化，更不个性化。因此呢，在第二次请求时，服务端必须知道是谁需要水果，更改后的流程就成了：

可是仔细看就会发现一个问题，在登录时，服务器端给了一个令牌，第二次请求时，客户端拿了令牌表明自己的身份。那么问题就来了，HTTP既然是无状态的，那么这个令牌怎么在两个请求之间传递的呢？Cookie就派上用场了。

在上面的例子，可以简单把这个令牌理解为Cookie。它其实是在客户端的一端文本信息，那么在客户端再次向服务器端发送请求时，就会把这个Cookie一同发送，这样服务器端就可以判断请求者的身份了。在发送到服务器的请求中，Cookie被当成HTTP头的一部分，
这里写图片描述
当然Cookie不仅能存储用户身份，也可以存储其他需要在客户端保存的信息，服务器端和客户端都可以操作Cookie。那么Cookie到底是什么样子的呢，就是下面的样子：

bdshare_firstime=1437266946877; __cfduid=d6f43c40a1cdcee614aeee8a941e3660d1499673471; BAIDUID=C6F62F6F418C6AB62331C5B0BF3D1080:FG=1; BIDUPSID=B2BDF0F6CD8EA7B5C36E43CBA923E78E; PSTM=1500444207; BK_SEARCHLOG=%7B%22key%22%3A%5B%22%E5%86%85%E9%A9%AC%E5%B0%94%22%2C%22%E5%B8%82%E7%9B%88%E7%8E%87%22%2C%22%E7%8E%8B%E4%B8%AD%E5%86%9B%22%2C%22%E5%BE%B7%E4%BA%91%E7%A4%BE%22%2C%22%E6%B5%81%E9%80%9A%E8%82%A1%E6%9C%AC%22%2C%22%E4%B8%AD%E8%AF%81500%22%2C%22%E4%B8%AD%E8%AF%81300%22%2C%22%E5%B8%8C%E8%85%8A%E5%AD%97%E6%AF%8D%E8%A1%A8%22%5D%7D; BDSFRCVID=gMDsJeC62Z5L--57KlrxKwWbTgRvf85TH6aoD48T4EtZDa_ORWjfEG0Ptf8g0Ku-XJ-fogKK0mOTHvOP; H_BDCLCKID_SF=tJAf_KDyfIt3eb5m-trSq4At-fTMhPcXMC6ysJOOaCvlOhORy4oTj6DjqHJ8yM4fWKOnQb_2KbvPhR_CjnjC3MvB-trzaJ5u325B2-3mLh-Bj484Qft20b_AeMtjBbQaJC3kQR7jWhk2Dq72ybjD05T0DGDOt6DDf5vfL5r2-JT2HJbCMJboKCCShGRMWx3eWDTm_DouJl4VKDK6yPvK2MPW3U5nKhjq5J-t-pPKKR7UMKn2jMoMWx0_BPnNL-Th3mkjbPbDfn02OPKzWMCVb44syP4j2xRnWTc9bIcJ-J8XhCtxDTOP; BDUSS=pPQ1ZIOWRnR1gxTi1Xekc0elVVNk1VRkNxcjkzejQxQk1QTVQ3cmxWRXdjQlpiQVFBQUFBJCQAAAAAAAAAAAEAAABWkxM0a2FuZ2ppYW5fbWVuZwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAADDj7low4-5aRX; H_PS_PSSID=1424_21092_26350_22157; MCITY=-131%3A; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; PSINO=2; Hm_lvt_55b574651fcae74b0a9f1cf9c8d7c93a=1528949127,1529166084,1529202937,1529592492; Hm_lpvt_55b574651fcae74b0a9f1cf9c8d7c93a=1529592492; pgv_pvi=5359692800; pgv_si=s6032864256

看起来比较不容易理解，那是因为数据被加了密，再仔细观察，就可以看到通过“=”连接的键值对，那么这个其实就是Cookie中存储的数据样式。
数据被存储在客户端，就存在被窃取和利用的问题，除了应用程序自己加密以外，Cookie还具有不可跨域性，也是说一个网站只能自己网站上用，其他域是无法访问的。还可以为Cookie设置有效期，到期之后Cooke数据就无法在使用了。

Cookie的常见用法

长时登录。现在很多网站打开后，都不需要登录，因为在第一次验证完成后，用户的身份信息就被保存在了客户端，可以继续为用户提供个性化的服务。从安全性考虑，一般情况下，服务提供者会采用：指定的Cookie的过期时间；在敏感操作时开启二次验证，再次确认用户身份。
识别身份。这个刚才的例子已经说了。尤其是对于分布部署的系统，如果服务器端通过Session识别用户，就必须要求支持Session粘滞的负载均衡器。可是这就有可能造成某些服务器负载过大。这个时候就可以用Cookie存储用户，然后服务器随机分配，只需要在处理业务逻辑时判断用户身份即可。很多网站的反扒机制，都会通过cookie进行异常访问识别，因此在抓取时，就需要将Cookie一起发送：

cookie='emstat_bc_emcount=21446959091031597218; pgv_pvi=8471522926; st_pvi=95785429701209; _ga=GA1.2.700565749.1496634081; '
response = conn_pool.request(
    'GET', 
    url,
    headers={'Cookie': cookie})