python爬虫之session实例精讲

最新推荐文章于 2024-08-18 14:00:00 发布
最新推荐文章于 2024-08-18 14:00:00 发布
阅读量7.6k 收藏 28
点赞数 7
分类专栏： 爬虫 session cookie 文章标签： python session 12306爬虫过验证 爬虫 cookie
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xdc1812547560/article/details/108113829
版权
本文详细讲解了Python中的session，包括其概念、会话的理解，以及通过实例分析12306验证码的获取和验证过程。通过网络抓包，解析出验证码图片链接，并利用session保持会话状态，实现验证码的正确识别。同时，探讨了session与cookie的关系，强调了两者在爬虫中的配合使用。
摘要由CSDN通过智能技术生成

文章目录

什么是session

session ：通过在服务端记录的信息确定⽤户身份

这⾥这个session就是⼀个指 的是会话

会话对象是一种高级的用法，可以跨请求保持某些参数，比如在同一个Session实例之间保存Cookie，像浏览器一样，我们并不需要每次请求Cookie，Session会自动在后续的请求中添加获取的Cookie，这种处理方式在同一站点连续请求中特别方便

深入理解

所谓的会话，你可以理解成我们用浏览器上网，到关闭浏览器的这一过程。session是会话过程中，服务器用来记录特定用户会话的信息。

比如今天双11，你淘宝网浏览了哪些商品，购物车里放了多少件物品，这些记录都会被保存在session中。
在这里插入图片描述

实例分析

以爬虫重灾区12306来演示下吧

分析网页，获取验证码

首先分析网页

我们在登陆页面输入正确的账号，错误的密码（为了页面不被关闭），正确的验证码后在Network抓包工具中找
在这里插入图片描述
在这里插入图片描述
找出了如上图所示，这里写着 ‘生成验证码成功’

那么这个链接会有什么呢
在这里插入图片描述
在这里插入图片描述
一堆我们看不懂的数据，但是

https://kyfw.12306.cn/passport/captcha/captcha-image64?login_site=E&module=login&rand=sjrand&1597942198585&callback=jQuery19109934921108818662_1597942150626&_=1597942150627

这个链接有些地方有点怪怪的，image64中的64是什么意思呢，去掉它可不可以呢？

在这里插入图片描述
去掉以后，我们发现成功获取到了验证码图片，如上图

分析网页，成功验证

获取验证码图片成功了，但是如何去成功验证呢？

如图，我们又找到了成功验证的抓包信息
在这里插入图片描述
我们分析下参数：

最低0.47元/天 解锁文章
码农一号已就位
关注
专栏目录
MATLAB算法实战应用案例精讲-【人工智能】语义分割（补充篇）(附matlab代码实现)
qq_36130719的博客
01-01 2099
语义分割是从粗推理到精推理的自然步骤：原点可以定位在分类，分类包括对整个输入进行预测。下一步是本地化/检测，它不仅提供类，还提供关于这些类的空间位置的附加信息。最后，语义分割通过对每个像素进行密集的预测、推断标签来实现细粒度的推理，从而使每个像素都被标记为其封闭对象矿石区域的类别。更具体地说，语义图像分割的目标是给图像中的每个像素都贴上对应的一类所代表的内容的标签。因为我们要对图像中的每个像素进行预测，所以这个任务通常被称为密集预测。
shell实例手册
yonggeit的博客
05-27 6081
shell实例手册 1文件{ touch file # 创建空白文件 rm -rf 目录名 # 不提示删除非空目录(-r:递归删除 -f强制) dos2unix # windows文本转linux文本 unix2dos # linux文本转windows文本 enca filename ...
Python爬虫（cookie和session））
LateNight_LL的博客
07-04 1005
文章目录cookie和session区别爬虫处理cookie和session携带cookie的请求处理cookie，session请求请求登录之后的网站不发送post请求，使用cookie获取登录后的页面 cookie和session区别 ·cookie数据存放在客户浏览器上，session数据放在服务器上。 ·cookie不是很安全，别人可以分析放在本地的cookie并进行cookie欺骗。 ·session会在一定时间上保存在服务器。当访问增多，会比较占用服务器的性能。 ·单个cookie保存的数据不能
Python爬虫：Session、Cookie、JWT
rubyw的博客
09-20 930
在爬虫中，你可以发送包含Cookie的HTTP请求以模拟已登录的用户。不当使用爬虫可能导致法律问题，因此请确保你的爬虫活动合法，并尊重网站的Robots.txt文件和使用条款。JWT是一种用于身份验证和授权的令牌，通常包含在HTTP请求的头部中。会话用于维护用户的状态和跟踪他们的活动，通常在登录和跨多个页面请求之间非常有用。在此示例中，我们首先发送登录请求，然后从响应中提取Cookie，并将其包含在后续请求中。使用会话，你可以跨多个请求共享Cookie和其他会话数据，以便保持登录状态。
超详细Python教程——Cookie和Session
最新发布
月流霜的专栏
08-18 879
要实现用户跟踪，服务器端可以为每个用户会话创建一个session对象并将session对象的ID写入到浏览器的cookie中；用户下次请求服务器时，浏览器会在HTTP请求头中携带该网站保存的cookie信息，这样服务器就可以从cookie中找到session对象的ID并根据此ID获取到之前创建的session对象；由于session对象可以用键值对的方式保存用户数据，这样之前保存在session对象中的信息可以悉数取出，服务器也可以根据这些信息判定用户身份和了解用户偏好，为用户提供更好的个性化服务。
python爬虫实例——session自动登录并爬取相关内容
Fo*(Bi)的博客
07-13 1549
1、理解下 session (会话) 所谓的会话，你可以理解成我们用浏览器上网，到关闭浏览器的这一过程。session是会话过程中，服务器用来记录特定用户会话的信息。 比如今天双11，你淘宝网浏览了哪些商品，购物出里放了多少件物品，这些记录都会被保存在session中。 session 和 cookies 有什么关系呢？ session和cookies的关系还非常密切——cookies中存储着session的编码信息，session中又存储了cookies的信息。 当浏览器第一次访问购物网页时，服务器会返回
python爬虫——利用 session 处理登录状态 github 登录实例
weixin_42008209的博客
07-08 6870
CookieCookies是服务器在本地机器上存储的小段文本并随每一个请求发送至同一个服务器Sessionsession机制是一种服务器端的机制，服务器使用一种类似于散列表的结构（也可能就是使用散列表）来保存信息。使用Cookies直接访问需要登录的获取数据#!/usr/bin/python # -*- coding: utf-8 -*- import requests # 1. 利用 h...
python爬虫系列之Session相关知识
Z_suger7的博客
06-12 1179
作为爬虫工作者，日常工作中常常遇到采集的页面限制我们的访问，尤其在频繁刷新或者访问一个页面时会引起网站的一些列反爬措施。网站的反爬措施有很多，今天我们就来谈谈 Session 和 cookie 的在python爬虫中的相关知识。2、访问页面的时候，从header是中找到cookie并复制，写到python脚本里的headers中，但是在使用过程中cookie的时效性也是需要考虑的。1、 爬虫代码里通过request.post里的参数data中，有自己的登录的账号信息。
Python技术栈学习路线
Brick的博客
12-24 1020
python技术栈，学习路线图，学习指引
时间复杂度深度剖析：visit算法的精讲与实战
[时间复杂度深度剖析：visit算法的精讲与实战](https://ask.qcloudimg.com/http-save/7493058/5uulbwbahm.png) # 1. 时间复杂度与算法优化基础 在计算机科学中，算法优化是实现高效程序的关键。时间复杂度，是衡量...
python-session
qq_43822715的博客
09-21 983
1.session 头文件： from requests import Session 作用：模拟登录，并用session维持会话，用requests的session模拟登录后session会记录cookies，接下来的请求会被放在同一个会话中。举个简单例子，在 requests 中，如果直接利用 get（）或 post（）等方法的确可以做到模拟网页的请求，但是这实际 上是相当于不同的会话，也就...
python模拟登陆,用session维持回话的实例
09-19
今天小编就为大家分享一篇python模拟登陆,用session维持回话的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
爬虫之利用requests.session进行状态保持
IT之一小佬的博客
01-24 4411
爬虫之利用requests.session进行状态保持 requests模块中的Session类能够自动处理发送请求获取响应过程中产生的cookie，进而达到状态保持的目的。接下来我们就来学习它 1.1 requests.session的作用以及应用场景 requests.session的作用 自动处理cookie，即下一次请求会带上前一次的cookie requests.session的应用场景 自动处理连续的多次请求过程中产生的cookie 1.2 requests.sessi.
爬虫基础—Session和Cookie
W_chuanqi的博客
06-11 790
📋 个人简介 💖 作者简介：大家好，我是W_chuanqi，一个编程爱好者 📙 个人主页：W_chaunqi 😀 支持我：点赞👍+收藏⭐️+留言📝 💬 愿你我共勉：“若身在泥潭，心也在泥潭，则满眼望去均是泥潭；若身在泥潭，而心系鲲鹏，则能见九万里天地。”✨✨✨​ 在浏览网站的过程中，我们经常会遇到需要登录的情况，有些页面只有登录之后才可以访问。在登录之后可以连续访问很多次网站，但是有时候过一段时间就需要重新登录。还有一些网站，在打开浏览器时就自动登录了，而且在很长时间内都不会失效，这又是什...
Python—Session
xiaodeng2017的博客
05-24 8783
python中session()是干什么作用的_session是什么意思 Session：在计算机中，尤其是在网络应用中，称为“会话控制”。Session 对象存储特定用户会话所需的属性及配置信息。这样，当用户在应用程序的 Web 页之间跳转时，存储在 Session 对象中的变量将不会丢失，而是在整个用户会话中一直存在下去。当用户请求来自应用程序的 Web 页时，如果该用户还没有会话，则 Web 服务器将自动创建一个 Session 对象。 当会话过期或被放弃后，服务器将终止该会话。Session 对
python----session
qq_42990735的博客
03-11 273
from django.shortcuts import render,redirect from app import models Create your views here. def user_decirater(func): def inner(request,*args,**kwargs): username = request.COOKIES.get(‘name’) pwd = re...
爬虫时session的使用
西门大盗 捉虫专家
09-18 4389
Session是另一种记录客户状态的机制，不同的是Cookie保存在客户端浏览器中，而Session保存在服务器上    客户端浏览器访问服务器的时候，服务器把客户端信息以某种形式记录在服务器上。这就是Session。客户端浏览器再次访问时只需要从该Session中查找该客户的状态就可以了    如果说Cookie机制是通过检查客户身上的“通行证”来确定客户身份的话，那么Session机...
【Python爬虫教程】第6篇-使用session发起请求
分享技术，记录思考和感悟
07-11 877
尤其是在保持登陆状态时运用的最多，在某些网站抓取，或者app抓取时，有的时强制登陆，有的是不登陆返回的数据就是假的或者说是不完整的数据，那我们不可能去做到每一次请求都要去登陆一下怎么办，就需要用到保持会话的功能了，我们可以只登陆一次，然后保持这种状态去做其他的或者更多的请求。
python爬虫session和cookie模拟登陆
qq_56862455的博客
08-01 456
python爬虫session和cookie模拟登陆
python session用法
06-01
在Python中，session是一种在不同请求之间存储和共享数据的机制。它通常用于Web应用程序中，以便在用户浏览网站时存储和传递数据。 下面是使用Python中session的基本步骤： 1. 导入需要的模块 ```python from flask import Flask, session ``` 2. 初始化应用程序 ```python app = Flask(__name__) app.secret_key = 'your_secret_key' ``` 3. 在路由中设置session值 ```python @app.route('/login') def login(): session['username'] = 'John' return 'Logged in successfully!' ``` 4. 获取session值 ```python @app.route('/dashboard') def dashboard(): if 'username' in session: username = session['username'] return 'Welcome back, ' + username + '!' else: return 'You are not logged in!' ``` 5. 删除session值 ```python @app.route('/logout') def logout(): session.pop('username', None) return 'Logged out successfully!' ``` 以上是使用Python中session的基本步骤，当然在实际应用中，还需要考虑到session的过期时间等问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值