【Python爬虫历程】Cookie的解释

1.什么是cookie:

Cookie,有时也用其复数形式 Cookies。类型为“小型文本文件”,是某些网站为了辨别用户身份,进行Session跟踪而储存在用户本地终端上的数据(通常经过加密),由用户客户端计算机暂时或永久保存的信息  。

在网站中,http请求是无状态的。也就是说即使第一次和服务器连接后并且登录成功后,第二次请求服务器依然不能知道当前请求是哪个用户。cookie的出现就是为了解决这个问题,第一次登录后服务器返回一些数据(cookie)给浏览器,然后浏览器保存在本地,当该用户发送第二次请求的时候,就会自动的把上次请求存储的cookie数据自动的携带给服务器,服务器通过浏览器携带的数据就能判断当前用户是哪个了。cookie存储的数据量有限,不同的浏览器有不同的存储大小,但一般不超过4KB。因此使用cookie只能存储一些小量的数据。

2.cookie的格式:

Set-Cookie: NAME=VALUE;Expires/Max-age=DATE;Path=PATH;Domain=DOMAIN_NAME;SECURE

参数意义:

  • NAME:cookie的名字。
  • VALUE:cookie的值。
  • Expires:cookie的过期时间。
  • Path:cookie作用的路径。该 Cookie 是在当前的哪个路径下生成的,如 path=/wp-admin/。
  • Domain:cookie作用的域名。
  • SECURE:是否只在https协议下起作用。如果设置了这个属性,那么只会在 SSH 连接时才会回传该 Cookie

3. cookie机制

当用户第一次访问并登陆一个网站的时候,cookie的设置以及发送会经历以下4个步骤:

客户端发送一个请求到服务器 --》 服务器发送一个HttpResponse响应到客户端,其中包含Set-Cookie的头部 --》 客户端保存cookie,之后向服务器发送请求时,HttpRequest请求中会包含一个Cookie的头部 --》服务器返回响应数据

4.cookie示例

Cookie:

_ga=GA1.2.44348677.1581672731; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%221701eda4b7c65a-0753213a9e6b1f-3350467f-2073600-1701eda4b7dd12%22%2C%22first_id%22%3A%22%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E8%87%AA%E7%84%B6%E6%90%9C%E7%B4%A2%E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%E5%80%BC%22%2C%22%24latest_referrer%22%3A%22https%3A%2F%2Fwww.baidu.com%2Flink%22%2C%22%24device_id%22%3A%221701eda4b7c65a-0753213a9e6b1f-3350467f-2073600-1701eda4b7dd12%22%7D; Hm_lvt_0c0e9d9b1e7d617b3e6842e85b9068=1585036356,1585037020,1585212086,1585213601; signin_redirect=https://www.jianshu.com/p/6fc9cea6daa2; locale=zh-CN; _gid=GA1.2.1921932447.1585396240; _m7e_session_core=b14c0468008ff2787361d4136120cf8a

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Python爬虫可以通过模拟登录的方式来抓取Cookie。模拟登录是指在爬取网页数据之前,先模拟用户登录网站并获取有效的Cookie,然后将Cookie添加到请求头中,以实现登录状态的模拟。这样就可以通过发送带有Cookie的请求来获取登录后的页面或者进行其他需要登录状态的操作。 要抓取Cookie,可以按照以下步骤进行操作: 1. 首先,需要使用Python的requests库发送登录请求,并提供正确的用户名和密码。这个过程可以使用POST请求来完成。 2. 接着,可以通过查看登录成功后的响应内容,找到包含登录后的Cookie信息的部分。可以使用浏览器的开发者工具或者抓包工具来查看响应内容。 3. 一旦找到了Cookie信息,可以将其提取出来并保存下来。可以使用Python的requests库中的cookies属性来获取Cookie信息。 4. 接下来,在后续的请求中,可以将获取到的Cookie添加到请求头中,以模拟登录状态。 需要注意的是,使用Cookie抓取数据时要注意遵守网站的规则和政策,并且尽量不要滥用Cookie。在不需要Cookie的情况下,尽量不去使用Cookie,以免引起网站的不必要的注意或封禁。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Python爬虫——Cookie模拟登录](https://blog.csdn.net/wpc2018/article/details/125789191)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [python 爬虫(cookie)](https://blog.csdn.net/sonflower123/article/details/124748949)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Demo.demo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值