Python爬虫番外篇之Cookie和Session

最新推荐文章于 2024-07-11 16:28:16 发布
最新推荐文章于 2024-07-11 16:28:16 发布
阅读量247 收藏 1
点赞数
文章标签： 爬虫 python 面试

关于cookie和session估计很多程序员面试的时候都会被问到，这两个概念在写web以及爬虫中都会涉及，并且两者可能很多人直接回答也不好说的特别清楚，所以整理这样一篇文章，也帮助自己加深理解

什么是Cookie

其实简单的说就是当用户通过http协议访问一个服务器的时候，这个服务器会将一些Name/Value键值对返回给客户端浏览器，并将这些数据加上一些限制条件。在条件符合时，这个用户下次再访问服务器的时候，数据又被完整的带给服务器。

因为http是一种无状态协议，用户首次访问web站点的时候，服务器对用户一无所知。而Cookie就像是服务器给每个来访问的用户贴的标签，而这些标签就是对来访问的客户端的独有的身份的一个标识，这里就如同每个人的身份证一样，带着你的个人信息。而当一个客户端第一次连接过来的时候，服务端就会给他打一个标签，这里就如同给你发了一个身份证，当你下载带着这个身份证来的时候，服务器就知道你是谁了。所以Cookie是存在客户端的，这里其实就是在你的浏览器中。

Cookie中包含了一个由名字=值（name = value）这样的信息构成的任意列表，通过Set-Cookie或Set-Cookie2 HTTP响应（扩展）首部将其贴到客户端身上。如下图例子所示：

其实这里有一个非常典型的应用，就是关于你登录很多网站的账号信息，你让记住密码之后，一段时间内，不需要输入密码，每次都是登录状态

Cookie的分类

这里Cookie主要分为两种：
会话Cookie：不设置过期时间，保存在浏览器的内存中，关闭浏览器，Cookie便被销毁
普通Cookie:设置了过期时间，保存在硬盘上

Cookie属性

因为最开始的cookie是网景公司定义的，后来又有了RFC版本所以当前的Cookie有两个版本：Version 0 Version 1 他们有两种设置响应头的标识，分别是：Set-Cookie和Set-Cookie2,这也造成了一些属性的不同,这里需要注意：常用的为Version 0

Version 0的属性

NAME = Value :键值对设置要保存的Name/Value,这里的name不能喝其他属性的名字一样
Expires：过期时间
Domain：生成该Cookie的域名
Path： 该Cookie是在当前的哪个路径下生成
Secure：如果设置了这个属性，那么只会在SSH连接时才会回传该Cookie

Version 1的属性

Name=VALUE:键值对设置要保存的Name/Value,这里的name不能喝其他属性的名字一样
Comment：主是想，用于说明该Cookie有什么用途
CommentURL:该服务器为此COokie提供URI注释
Discard:是否在回话结束丢弃该Cookie，默认为false
Domain:生成该Cookie的域名
Max-Age:最大失效时间，与Version 0不同的是这里设置的是在多少秒后失效
Path:该Cookie是在当前的哪个路径下生成
Port:该 Cookie 在什么端口下可以回传服务端，如果有多个端口，以逗号隔开
Secure:如果设置了这个属性，那么只会在SSH连接时才会回传该Cookie

关于Session

上面我们知道了Cookie可以让服务器端跟踪每个客户端的访问，但是每次客户端的访问都必须传回这些 Cookie，如果 Cookie 很多，这无形地增加了客户端与服务端的数据传输量，而 Session 的出现正是为了解决这个问题。

同一个客户端每次和服务端交互时，不需要每次都传回所有的Cookie值，而是只要传回一个ID这个ID是客户端第一次访问服务器的时候生成的，而且每个客户端是唯一的。这样每个客户端就有了一个唯一的ID，客户端只要传回这个ID就行了，这个ID通常是NANE为JSESIONID的一个Cookie。所以Session其实是利用Cookie进行信息处理的。

    1. cookie和session的共同之处在于：cookie和session都是用来跟踪浏览器用户身份的会话方式。
    2. cookie 和session的区别是：cookie数据保存在客户端，session数据保存在服务器端。
    3. cookie不是很安全，别人可以分析存放在本地的COOKIE并进行COOKIE欺骗,如果主要考虑到安全应当使用session，当然也没有绝对的安全，只是相对cookie，session更加安全
    4. session会在一定时间内保存在服务器上。当访问增多，会比较占用你服务器的性能，如果主要考虑到减轻服务器性能方面，应当使用COOKIE
    5. cookie和session各有优缺点，所以将登陆信息等重要信息存放为SESSION;其他信息如果需要保留，可以放在COOKIE中
weixin_33955681
关注
Python爬虫编程思想（5）：Session与Cookie
一个被知识诅咒的人
07-10 290
目录 1. 静态页面和动态页面 2. 无状态HTTP与Cookie 3. 利用Session和Cookie保持状态 4. 查看网站的Cookie 5. HTTP状态何时会失效 （1）与客户端有关 （2）与服务端有关 在浏览很多网站时我们会遇到这样的情况，第一次访问网站，会要求输入用户名和密码（有的网站也可以通过微信、QQ扫描二维码登录）登录，成功登录后。以后再登录该网站，会直接进入已登录状态，通常在网站的右上角会显示登录用户的昵称或账号。不...
Python爬虫之cookie操作
热门推荐
景天科技苑
12-29 1万+
session可以处理大部分反爬机制，session处理不了的，我们可以用selenium 两者结合基本是无敌的。#2.使用session发起的请求，目的是为了捕获到cookie，且将其存储到session对象中。#3.就是使用携带了cookie的session对象发起的请求（就是携带者cookie发起的请求）没有cookie的网站，我们就不要用session。滚轮下滑，会加载新的热帖，由此可见热帖是动态加载的。#查看session携带的cookie。查看session携带的cookie。
Python爬虫如何搞定动态Cookie？小白也能学会！
xyh2004的博客
06-14 3770
Chrome DevTools Protocol (CDP) 是Chrome浏览器提供的一套调试协议，允许开发者与浏览器进行深度交互，包括检查和控制页面元素、网络请求、性能分析等。通过这个协议 ，我们可以实时监听浏览器的Network事件，包括Cookie的生成和变化。接入CDP通常需要借助支持此协议的库 ，如Python的pyppeteer或，这些库提供了与Chrome DevTools Protocol交互的高级API。以下以pyppeteer为例说明如何开始：首先，安装pyppeteer。
python爬虫-Cookie和Session
m0_46500590的博客
02-08 365
文章目录1. 前言2. Cookie2.1 利用Cookie实现模拟登陆的两种方式3. Session3.1 利用request创建session对象的步骤 1. 前言 有一些网站，登陆和没登录的权限不同，还有一些网站必须要先登陆才能进入使用。在利用python爬虫模拟登陆时，经常不能请求到登陆后的界面信息，这时就会用到cookie，这里简单介绍一下Cookie和Session的概念 2. Cookie cookie记录了包括登录状态在内的所有信息，这些信息由服务器生成和解释，服务器通过客户端携带的co
初探python爬虫（三）——cookie和session
HadwinLing
02-06 392
##什么是cookie http请求是无状态的请求协议 不会记住用户的状态和信息 也不清楚你在者这之前的访问过什么 因为网站需要记录用户是否登录时， 就需要在用户登录后创建一些信息 并且要把这些信息记录在当前用户的浏览器中， 记录的内容就是cookie 用户使用当前的这个浏览器继续访问这个服务器时，会主动携带这个网站设置的cookie信息 cookie会在浏览器中记录信息，并且在访问时懈怠这个信息...
python 爬虫(cookie)
sonflower123的博客
05-13 4208
cookie和session区别 cookie数据存放在客户浏览器上，session数据放在服务器上 cookie不是很安全，别人可以分析放在本地的cookie并进行cookie欺骗 session会在一定时间上保存在服务器。当访问增多，会比较占用服务器的性能。 单个cookie保存的数据不能超过4K，很多浏览器限制到一个站点最多保存20个cookie 爬虫处理cookie和session 带上cookie、session的优点: 能够请求到登录后页面 带上cookie、session的弊端:
爬虫之cookie与session的设置
Im ok的博客哦
06-29 691
设置cookie与session是为了在爬取某些需要登陆后才能进行查看的网页，比如人人网的个人主页，就必须要登陆之后才可以进行查看。因此就需要进行cookie的设置。 cookie的设置： import requests base_url = 'http://www.renren.com/PLogin.do' #设置请求头，伪装浏览器进行访问 headers = { #设置用户代理 'u...
Python爬虫番外篇之Cookie和Session详解
09-20
### Python爬虫番外篇之Cookie和Session详解 #### 一、引言 在Web开发及爬虫领域中，理解Cookie和Session的概念及其工作原理至关重要。这两种机制在维护用户会话状态方面扮演着核心角色，尤其对于那些需要跨页面...
Python爬虫（cookie和session））
LateNight_LL的博客
07-04 967
文章目录cookie和session区别爬虫处理cookie和session携带cookie的请求处理cookie，session请求请求登录之后的网站不发送post请求，使用cookie获取登录后的页面 cookie和session区别 ·cookie数据存放在客户浏览器上，session数据放在服务器上。 ·cookie不是很安全，别人可以分析放在本地的cookie并进行cookie欺骗。 ·session会在一定时间上保存在服务器。当访问增多，会比较占用服务器的性能。 ·单个cookie保存的数据不能
【python】爬虫系列Day04-- cookie介绍
weixin_53000329的博客
08-24 1704
🙋作者：爱编程的小贤 ⛳知识点:python爬虫— cookie介绍 🥇：每天学一点，早日成大佬
python爬虫基础---ip代理---cookie使用---请求异常处理
m0_67093160的博客
01-09 1365
代理ip，爬虫cookie，请求异常处理
python3爬虫(六)--requests的高级操作
北冥有鱼丶
06-09 516
文件上传 import requests url = "http://httpbin.org/post" files = {'files':open("alipay.png",'rb')} response = requests.post(url,files=files) print(response.text) 结果： 获取cookie import requests url = "http...
浏览器的Cookie策略
Code_Aape的博客
07-14 2114
Session Cookie & Third-party Cookie
python 获取cookie的方法
花生日记
05-11 9882
要获取 Cookie，需要使用一个 Python模块： 在获取 Cookie之前，需要先进行一些准备工作： ①首先需要在 Web服务器上安装 pygame. content （）函数 ②然后将 pygame. content （）函数连接到一个远程的服务器，该服务器位于一个虚拟主机中 ③然后将 cookie参数传递给这个虚拟主机的 pygame. content （）函数，并设置参数的范围（即是否要获取网站上所有的 Cookie）。在服务器上，请求的对象是 Cookie，而响应的对象是用户的账号和密码。
100天精通Python丨黑科技篇 —— 21、大语言模型_100天精通python快速入门到黑科技
m0_60452141的博客
04-26 621
ChatGPT 是 OpenAI 推出的一种基于 GPT-3/4 的聊天机器人。chatgpt 的颠覆性影响主要体现在提高语言交流的便捷性、个性化服务、自动化客服和教育娱乐等方面，这些应用可以为用户带来更多的便利和乐趣，同时也为企业提供了更多的服务和商机。本文收录于，是由的硬核博主倾力打造，分基础知识篇和黑科技应用两大部分，欢迎订阅本专栏，订阅后可私聊进Python全栈VIP交流群（问题解答、互相帮助）还可领取20GPython视频和100本互联网行业电子书。
【Python爬虫教程】第6篇-使用session发起请求
最新发布
分享技术，记录思考和感悟
07-11 799
尤其是在保持登陆状态时运用的最多，在某些网站抓取，或者app抓取时，有的时强制登陆，有的是不登陆返回的数据就是假的或者说是不完整的数据，那我们不可能去做到每一次请求都要去登陆一下怎么办，就需要用到保持会话的功能了，我们可以只登陆一次，然后保持这种状态去做其他的或者更多的请求。
python爬虫之session实例精讲
xdc1812547560的博客
08-21 7644
session ：通过在服务端记录的信息确定⽤户身份 这⾥这个session就是⼀个指 的是会话 会话对象是一种高级的用法，可以跨请求保持某些参数，比如在同一个Session实例之间保存Cookie，像浏览器一样，我们并不需要每次请求Cookie，Session会自动在后续的请求中添加获取的Cookie，这种处理方式在同一站点连续请求中特别方便 ...
python利用session来模拟登录进行爬虫抓取
南猫
05-31 628
很多网站内容在抓取时需要进行登录，不登录则无法获取到内容，这时就需要session来模拟进行登录的过程，有人会问使用cookie不行吗，当然不行，cookie只能在本地环境下使用，也就是你浏览器登录之后抓取cookie写入，然后再在本地运行脚本才能使用，当你放到服务器之后这个cookie就相当于失效的。 session模拟登录 ...
从零起步python爬虫
11-04
从零开始学习爬虫内容涉及各种爬虫技术，正则表达式爬虫，xpath爬虫，scrapy爬虫等让大家用最少的时间学会爬虫
python爬虫cookie和session
06-28
### 回答1： Python爬虫中的cookie和session是两个重要的概念。 Cookie是服务器在客户端存储的一小段文本信息，用于记录用户的登录状态、浏览历史等信息。在Python爬虫中，我们可以使用requests库中的cookies参数来设置和获取cookie信息。 Session是一种记录用户状态的机制，它可以在不同的请求之间保持用户的登录状态。在Python爬虫中，我们可以使用requests库中的Session对象来创建一个会话，从而实现登录、保持登录状态等操作。通过Session对象，我们可以方便地管理cookie信息，实现自动登录和持久化会话等功能。 ### 回答2： Python爬虫是指使用Python语言编写程序，自动获取互联网上的信息并进行数据分析或者存储的技术。而Cookie和Session则是爬虫程序中常用的两种技术，它们的作用是帮助爬虫程序模拟网站的登录情况和维持网站和爬虫程序之间的会话状态，以便进行身份认证和绕过防护机制。 Cookie是存储在浏览器客户端的数据，主要用于表示用户身份、用户访问时间、用户信息等，如用户访问某个网站时会在浏览器中创建一个Cookie，这个Cookie信息会被服务器进行读取和处理。当爬虫程序需要模拟网站登录时，需要获取并保存服务器返回的Cookie，以便后续更好的请求和响应网站数据。Python中通过requests模块进行Cookie的使用。requests模块中有一个Session对象，默认情况下，Session对象会存储Cookie到本地，这就相当于保存了用户的登录状态，方便后面的请求使用。在requests的get和post方法调用时，通过传递session对象作为第一个参数，就可以在整个请求过程中使用保存过的Cookie信息。具体使用方法如下： ``` # 创建session对象 import requests session = requests.Session() # 网站登录请求 session.post(login_url, data=user_data) # 获取用户信息 user_info = session.get(user_url) ``` 而Session则是保存Web应用程序会话的数据结构，即Session是由Web应用程序使用的一种机制，该机制通过在客户端存储或通过增加HTTP Cookie的方式传递标识符来维护状态信息。Session的数据保存在服务器端，每次请求时都会带上保存在Cookie中的Session ID，服务器根据Session ID来查找对应的Session对象。在Python中，我们可以通过Flask、Django等Web框架来实现Session的使用。 综上，Cookie和Session是爬虫程序中非常重要的技术，能够帮助爬虫程序更好地模拟登录和保持会话，让爬虫程序更快速、准确地抓取网站信息。但需要注意的是，爬虫程序的使用需要遵守网站的相关规定和道德底线，不得违反相关法律法规和道德规范。 ### 回答3： Python爬虫是一个广泛应用于网络数据抓取和处理的技术。在Python爬虫中，cookie和session是非常重要的概念，它们有助于实现身份验证和保持用户会话状态。在本篇文章中，我们将具体介绍cookie和session在Python爬虫中的应用。 1. Cookie Cookie是一种客户端存储机制，通常由Web服务器在HTTP响应头中返回。Cookie可以包含存储在客户端计算机上的信息，并在相应的HTTP请求中发送回服务器。Python中的Requests库可以方便地处理Cookie，使用方法如下： ``` import requests # 创建Session对象 s=requests.Session() # 访问登陆页，获取cookie s.get('http://www.example.com/login') # 从响应中读取cookie cookie=s.cookies.get_dict() # 发送带有cookie的请求 s.get('http://www.example.com/user',cookies=cookie) ``` 从上面的代码可以看出，通过创建一个Session对象，我们可以在访问登陆页时获取Cookie，在后续请求中将Cookie发送回服务器。这种方式可以模拟用户登陆状态，方便爬取需要用户身份验证的数据。 2. Session Session是另一种用于跟踪用户会话状态的机制。与Cookie不同，Session是由Web服务器在服务器端管理的。当用户发送请求时，服务器会为用户创建一个Session，该Session在Web服务器上存储。Python中也可以方便地使用Session来处理会话状态，使用方法如下： ``` import requests # 创建Session对象 s=requests.Session() # 在Session中发起请求 s.get('http://www.example.com/user') ``` 通过创建一个Session对象，我们可以在爬取时保持用户的会话状态，实现一些需要用户登录后才能进行的操作。与Cookie不同，Session的内部机制是由Web服务器实现的，并不需要我们自己去处理。 总结 从上述内容可以看出，Cookie和Session在python爬虫中起着至关重要的作用。Cookie可以方便地处理用户身份验证，从而实现一些需要用户身份验证的操作。而Session则可以方便地处理用户会话状态，为用户提供一种无缝的体验，在爬虫中也有广泛的应用。因此，Python爬虫开发者应该熟练掌握Cookie和Session的用法，以便在爬取数据时更加高效、方便。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值