python爬虫之session实例精讲

最新推荐文章于 2024-11-15 16:50:18 发布
最新推荐文章于 2024-11-15 16:50:18 发布
阅读量7.7k 收藏 28
点赞数 7
分类专栏： 爬虫 session cookie 文章标签： python session 12306爬虫过验证 爬虫 cookie
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xdc1812547560/article/details/108113829
版权
本文详细讲解了Python中的session，包括其概念、会话的理解，以及通过实例分析12306验证码的获取和验证过程。通过网络抓包，解析出验证码图片链接，并利用session保持会话状态，实现验证码的正确识别。同时，探讨了session与cookie的关系，强调了两者在爬虫中的配合使用。
摘要由CSDN通过智能技术生成

文章目录

什么是session

session ：通过在服务端记录的信息确定⽤户身份

这⾥这个session就是⼀个指 的是会话

会话对象是一种高级的用法，可以跨请求保持某些参数，比如在同一个Session实例之间保存Cookie，像浏览器一样，我们并不需要每次请求Cookie，Session会自动在后续的请求中添加获取的Cookie，这种处理方式在同一站点连续请求中特别方便

深入理解

所谓的会话，你可以理解成我们用浏览器上网，到关闭浏览器的这一过程。session是会话过程中，服务器用来记录特定用户会话的信息。

比如今天双11，你淘宝网浏览了哪些商品，购物车里放了多少件物品，这些记录都会被保存在session中。
在这里插入图片描述

实例分析

以爬虫重灾区12306来演示下吧

分析网页，获取验证码

首先分析网页

我们在登陆页面输入正确的账号，错误的密码（为了页面不被关闭），正确的验证码后在Network抓包工具中找
在这里插入图片描述
在这里插入图片描述
找出了如上图所示，这里写着 ‘生成验证码成功’

那么这个链接会有什么呢
在这里插入图片描述
在这里插入图片描述
一堆我们看不懂的数据，但是

https://kyfw.12306.cn/passport/captcha/captcha-image64?login_site=E&module=login&rand=sjrand&1597942198585&callback=jQuery19109934921108818662_1597942150626&_=1597942150627

这个链接有些地方有点怪怪的，image64中的64是什么意思呢，去掉它可不可以呢？

在这里插入图片描述
去掉以后，我们发现成功获取到了验证码图片，如上图

分析网页，成功验证

获取验证码图片成功了，但是如何去成功验证呢？

如图，我们又找到了成功验证的抓包信息
在这里插入图片描述
我们分析下参数：

最低0.47元/天 解锁文章
Python中的Session和Cookie详解
qq_42568323的博客
10-30 1412
本文详细介绍了Session和Cookie的概念、工作原理、优缺点及其在Python中的实现方法。通过具体的案例，我们展示了如何在Flask框架中管理用户状态和数据。Cookie：适用于需要存储少量数据并且允许客户端访问的场景。Session：适用于需要存储用户状态的场景，数据安全性较高。理解Session和Cookie的使用场景和实现方法，对于开发安全、可靠的Web应用至关重要。如果有进一步的问题或需求，欢迎随时讨论！这里是引用。
python爬虫实例——session自动登录并爬取相关内容
Fo*(Bi)的博客
07-13 1570
1、理解下 session (会话) 所谓的会话，你可以理解成我们用浏览器上网，到关闭浏览器的这一过程。session是会话过程中，服务器用来记录特定用户会话的信息。 比如今天双11，你淘宝网浏览了哪些商品，购物出里放了多少件物品，这些记录都会被保存在session中。 session 和 cookies 有什么关系呢？ session和cookies的关系还非常密切——cookies中存储着session的编码信息，session中又存储了cookies的信息。 当浏览器第一次访问购物网页时，服务器会返回
Python爬虫（cookie和session））
LateNight_LL的博客
07-04 1025
文章目录cookie和session区别爬虫处理cookie和session携带cookie的请求处理cookie，session请求请求登录之后的网站不发送post请求，使用cookie获取登录后的页面 cookie和session区别 ·cookie数据存放在客户浏览器上，session数据放在服务器上。 ·cookie不是很安全，别人可以分析放在本地的cookie并进行cookie欺骗。 ·session会在一定时间上保存在服务器。当访问增多，会比较占用服务器的性能。 ·单个cookie保存的数据不能
Python爬虫：Session、Cookie、JWT
rubyw的博客
09-20 950
在爬虫中，你可以发送包含Cookie的HTTP请求以模拟已登录的用户。不当使用爬虫可能导致法律问题，因此请确保你的爬虫活动合法，并尊重网站的Robots.txt文件和使用条款。JWT是一种用于身份验证和授权的令牌，通常包含在HTTP请求的头部中。会话用于维护用户的状态和跟踪他们的活动，通常在登录和跨多个页面请求之间非常有用。在此示例中，我们首先发送登录请求，然后从响应中提取Cookie，并将其包含在后续请求中。使用会话，你可以跨多个请求共享Cookie和其他会话数据，以便保持登录状态。
python爬虫——利用 session 处理登录状态 github 登录实例
weixin_42008209的博客
07-08 7004
CookieCookies是服务器在本地机器上存储的小段文本并随每一个请求发送至同一个服务器Sessionsession机制是一种服务器端的机制，服务器使用一种类似于散列表的结构（也可能就是使用散列表）来保存信息。使用Cookies直接访问需要登录的获取数据#!/usr/bin/python # -*- coding: utf-8 -*- import requests # 1. 利用 h...
python爬虫系列之Session相关知识
Z_suger7的博客
06-12 1190
作为爬虫工作者，日常工作中常常遇到采集的页面限制我们的访问，尤其在频繁刷新或者访问一个页面时会引起网站的一些列反爬措施。网站的反爬措施有很多，今天我们就来谈谈 Session 和 cookie 的在python爬虫中的相关知识。2、访问页面的时候，从header是中找到cookie并复制，写到python脚本里的headers中，但是在使用过程中cookie的时效性也是需要考虑的。1、 爬虫代码里通过request.post里的参数data中，有自己的登录的账号信息。
Python技术栈学习路线
Brick的博客
12-24 1058
python技术栈，学习路线图，学习指引
【Python编程秘籍】：掌握这些技巧，成为Python开发高手
[【Python编程秘籍】：掌握这些技巧，成为Python开发高手](https://img-blog.csdnimg.cn/20210317092147823.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4...
时间复杂度深度剖析：visit算法的精讲与实战
[时间复杂度深度剖析：visit算法的精讲与实战](https://ask.qcloudimg.com/http-save/7493058/5uulbwbahm.png) # 1. 时间复杂度与算法优化基础 在计算机科学中，算法优化是实现高效程序的关键。时间复杂度，是衡量...
【Python异步编程解密】：asyncio和事件驱动架构理解，让你的面试与众不同
![Python全面面试题]...Python异步编程是提高程序性能的一种强大技术，尤其适用于I/O密集型
python-session
qq_43822715的博客
09-21 995
1.session 头文件： from requests import Session 作用：模拟登录，并用session维持会话，用requests的session模拟登录后session会记录cookies，接下来的请求会被放在同一个会话中。举个简单例子，在 requests 中，如果直接利用 get（）或 post（）等方法的确可以做到模拟网页的请求，但是这实际 上是相当于不同的会话，也就...
python模拟登陆,用session维持回话的实例
09-19
今天小编就为大家分享一篇python模拟登陆,用session维持回话的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
爬虫之利用requests.session进行状态保持
IT之一小佬的博客
01-24 4507
爬虫之利用requests.session进行状态保持 requests模块中的Session类能够自动处理发送请求获取响应过程中产生的cookie，进而达到状态保持的目的。接下来我们就来学习它 1.1 requests.session的作用以及应用场景 requests.session的作用 自动处理cookie，即下一次请求会带上前一次的cookie requests.session的应用场景 自动处理连续的多次请求过程中产生的cookie 1.2 requests.sessi.
爬虫基础—Session和Cookie
W_chuanqi的博客
06-11 816
📋 个人简介 💖 作者简介：大家好，我是W_chuanqi，一个编程爱好者 📙 个人主页：W_chaunqi 😀 支持我：点赞👍+收藏⭐️+留言📝 💬 愿你我共勉：“若身在泥潭，心也在泥潭，则满眼望去均是泥潭；若身在泥潭，而心系鲲鹏，则能见九万里天地。”✨✨✨​ 在浏览网站的过程中，我们经常会遇到需要登录的情况，有些页面只有登录之后才可以访问。在登录之后可以连续访问很多次网站，但是有时候过一段时间就需要重新登录。还有一些网站，在打开浏览器时就自动登录了，而且在很长时间内都不会失效，这又是什...
Python—Session
xiaodeng2017的博客
05-24 8811
python中session()是干什么作用的_session是什么意思 Session：在计算机中，尤其是在网络应用中，称为“会话控制”。Session 对象存储特定用户会话所需的属性及配置信息。这样，当用户在应用程序的 Web 页之间跳转时，存储在 Session 对象中的变量将不会丢失，而是在整个用户会话中一直存在下去。当用户请求来自应用程序的 Web 页时，如果该用户还没有会话，则 Web 服务器将自动创建一个 Session 对象。 当会话过期或被放弃后，服务器将终止该会话。Session 对
python----session
qq_42990735的博客
03-11 282
from django.shortcuts import render,redirect from app import models Create your views here. def user_decirater(func): def inner(request,*args,**kwargs): username = request.COOKIES.get(‘name’) pwd = re...
全网最细，Python接口自动化测试-Session会话保持（实战详细）
m0_70102063的博客
08-13 1894
在接口测试的过程中，经常会遇到有些接口需要在登录的状态下才能请求，否则会提示请登录，那么怎样解决呢？可以通过session进行会话保持。session（会话）session，即会话。那么什么又是会话？我们来看一下会话的生存周期就能大致明白，如下：开始：客户端(通常是浏览器)–>发送第一个请求–>某应用服务器，彼此成功建立连接，即创建会话；会话中：客户端接着请求该应用服务器的其他资源；结束：关闭客户端(通常是浏览器)或者会话超时，会话结束。会话保持。
Python爬虫——小白篇
最新发布
weixin_56097064的博客
11-15 530
【代码】Python爬虫——小白篇。
爬虫时session的使用
西门大盗 捉虫专家
09-18 4413
Session是另一种记录客户状态的机制，不同的是Cookie保存在客户端浏览器中，而Session保存在服务器上    客户端浏览器访问服务器的时候，服务器把客户端信息以某种形式记录在服务器上。这就是Session。客户端浏览器再次访问时只需要从该Session中查找该客户的状态就可以了    如果说Cookie机制是通过检查客户身上的“通行证”来确定客户身份的话，那么Session机...
python session用法
06-01
在Python中，session是一种在不同请求之间存储和共享数据的机制。它通常用于Web应用程序中，以便在用户浏览网站时存储和传递数据。 下面是使用Python中session的基本步骤： 1. 导入需要的模块 ```python from flask import Flask, session ``` 2. 初始化应用程序 ```python app = Flask(__name__) app.secret_key = 'your_secret_key' ``` 3. 在路由中设置session值 ```python @app.route('/login') def login(): session['username'] = 'John' return 'Logged in successfully!' ``` 4. 获取session值 ```python @app.route('/dashboard') def dashboard(): if 'username' in session: username = session['username'] return 'Welcome back, ' + username + '!' else: return 'You are not logged in!' ``` 5. 删除session值 ```python @app.route('/logout') def logout(): session.pop('username', None) return 'Logged out successfully!' ``` 以上是使用Python中session的基本步骤，当然在实际应用中，还需要考虑到session的过期时间等问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值