cookie加密 -＞ 反爬+参数反爬

已于 2024-03-14 12:39:14 修改
阅读量858 收藏 7
点赞数 9
分类专栏： 反爬 文章标签： python 爬虫
于 2024-03-10 15:07:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Grit_bayo/article/details/136602314
版权
本文讲述了在遇到数据接口返回405错误并怀疑存在反爬机制时，作者通过分析发现cookie来自主页，还需关注头信息中的反爬参数。解决方法是首先访问主页获取cookie和CSRF参数，再用于数据接口请求以绕过限制。
摘要由CSDN通过智能技术生成

目标信息

网站地址 :aHR0cDovL3d3dy56am1hemhhbmcuZ292LmNuL2hkamxwdC9wdWJsaXNoZWQ/dmlhPXBj
在这里插入图片描述

思路分析

  1. 关键词搜索定位到数据接口
    在这里插入图片描述
  2. 请求复现，发现返回405，存在反爬逻辑
  3. 分析cookie，发现cookie来源于http，搜索可得cookie来源于访问主页 在这里插入图片描述
    在这里插入图片描述
  4. 分析头信息，发现数据接口的反爬参数也来源于访问主页
    在这里插入图片描述
  5. 综上，先请求访问主页，获取cookie和_CSRF参数，然后执行数据接口即可
    在这里插入图片描述
bayo
关注
专栏目录
(五)Python反爬实战---JS反爬之某网站cookie反爬
郑德帅
08-03 741
   python反爬经验实战，适合小白入门，新手提升，大牛晋升。包含本人目前遇到反爬汇总，文章一周2-3篇，为了质量考虑，更新较慢，敬请谅解。购买专栏私信博主加微信，可无偿提供学习辅助。 考虑到新手朋友，博文会讲得较细，高手的话对于一些简单部分可快速略过即可. JS反爬之某网站cookie反爬1 portal-sign参数 1 portal-sign参数 ...
爬虫小白-如何辨别是否有cookie反爬案例
十一姐的博客
07-23 4607
cookie参数一般是通过两种方式生成，一种是服务端返回的cookie，另一种是网页端有javascript代码生成的cookie，可通过这个防爬
JS逆向---cookie反爬虫系列（阿里系逆向-实战解析）
m0_52336378的博客
10-18 2998
Cookie 反爬虫指的是服务器端通过校验请求头中的 Cookie 值来区分正常用户和爬虫程序的手段，这种手段被广泛应用在 Web 应用中。这次主要是对各类cookie值加密的网站情况进行分析学习响应cookie和session的处理学习基于首页返回的cookie值声明本文章中所有内容仅供学习交流使用，不用于其他任何目的，不提供完整代码，抓包内容、敏感网址、数据接口等均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关。
当爬虫碰到加密请求参数
热门推荐
Coder.L的博客
08-22 2万+
前言：之前查找一个网站的加密方式找了一个星期。放弃了。过了两天又满血归来，一个小时破解了 注：本篇博客，不会讲解任何加密相关的算法。爬虫破解加密算法，可以完全不懂加密算法，需要的是耐心 先说说最近碰到反爬虫相关的方式吧 1.加密+访问次数限制+每个页面相关信息的条目需要点详情进行二次请求 2.复杂的加密算法进行参数+时间戳+sig值，后台进行 参数+时间限制 3.定时同步cookie+每
cookie加密 -＞ 混淆(acw_sc__v2)+cookie(xq_a_token)+无限debugger
Grit_bayo的博客
03-12 752
网站地址：aHR0cHM6Ly94dWVxaXUuY29tL3RvZGF5在这里插入图片描述。
爬虫----反爬与反反爬
一夜奈何梁山
11-25 3363
目录一：反爬：1: 反爬的三个方向：2：基于身份识别进行反爬：3：常见基于爬虫行为进行反爬4：常见基于数据加密进行反爬：二：反反爬： 一：反爬： 1: 反爬的三个方向： 1：基于身份识别进行反爬。 2：基于爬虫行为进行反爬。 3：基于数据加密进行反爬。 2：基于身份识别进行反爬： 3：常见基于爬虫行为进行反爬 4：常见基于数据加密进行反爬： 二：反反爬： ...
爬虫系列 --- 反爬机制和破解方法汇总和加密手段
qq_44090577的博客
08-27 1993
爬虫系列 — 反爬机制和破解方法汇总 反爬机制和破解方法汇总 一什么是爬虫和反爬虫？ 爬虫：使用任何技术手段，批量获取网站信息的一种方式。 反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。 二 Headers and referer 反爬机制 *headers进行反爬是最常见的反爬虫策略。 *还有一些网站会对 Referer （上级链接）进行检测（机器行为不太可能通过链接跳转实...
爬虫 -- 反爬
a_Loki的博客
05-12 980
反爬的三个方向 基于身份识别进行反爬 身份识别 headrs中的User-Agent，referer，cookie进行反爬 cookie：进行模拟登录，成功获取cookies之后再进行数据爬取 请求参数 1，从HTML文件中提取 2，发送请求获取数据 3，通过js生成（分析js，观察加密的实现过程，通过js2py获取就是的执行结果，或者用selenium） 4，通过验证码（第三方平台。或者机器学习（不推荐）） 基于爬虫行为进行反爬 请求或总请求数量 （通过购买高质量的ip和账号来解决
Python爬虫学习第九天---反爬与反反爬
lufei0920的博客
06-17 244
爬虫学习之---反爬与反反爬
爬虫（五）：动态html --- 反爬策略，selenium + phantomjs，案例：爬取豆瓣图书（页面内容是 js 代码，获取加密数据）
吃瓜群众的博客
05-24 1360
1、反爬策略 2、html页面技术 3、selenium 和 phantomjs 4、selenium 的三种等待 5、案例：爬取豆瓣图书（获取加密数据）
Js逆向之网洛者-反反爬练习平台第七题（JSVMPZL - 初体验）
博客
02-25 1758
链接: 网洛者-反反爬练习平台第七题（JSVMPZL - 初体验） (提示：该平台注册需要注册码，可以加这位大佬的vx，记得注明来意，vx号：wx1670044143) 内容分析: 本题目标：采集100页的全部数字，并计算所有数据加和。 接口分析：老规矩，F12打开调试面板，直接遇到本题第一个反调试：debugger，如下图所示： 直接在这一行行标上鼠标右键，选择Never pause here，之后直接释放断点即可。 接下来点击下一页，然后出现请求，点上去看一下请求的时候携带了哪些参数 这里请求有
简单题101. 对称二叉树 （python）20240922
Sep21m_wyy的博客
09-22 398
【代码】简单题101. 对称二叉树 （python）20240922。
第二百五十四节 JPA教程 - JPA 多对多映射示例
2301_78772942的博客
09-27 515
第二百五十四节 JPA教程 - JPA 多对多映射示例
python 实现harmonic series调和级数算法
luthane的博客
09-24 939
Hn∑k1n1kHn​k1∑n​k1​其中，𝑛n 是正整数。这个级数是由调和数列（Harmonic sequence）的各元素相加所得的和。调和级数的名字源于泛音及泛音列，即一条振动的弦的泛音的波长依次是基本波长的12131421​31​41​等。调和级数的性质发散性：调和级数是一个发散的无穷级数，也就是说，它的部分和随着项数的增加而无限增长。
ubuntu安装libtorch
meng_152634的博客
09-25 699
nouveau是由第三方为NVIDIA显卡开发的一个开源3D驱动，ubuntu默认集成了nouveau驱动，安装NVIDIA驱动前必须禁用系统自带的显卡驱动nouveau，否则安装NVIDIA驱动时会报错。，一定要确定好安装的CUDA版本是否支持显卡的算力，否则安装成功也无法使用GPU加速。如果cmake版本低于3.18，会出现下面的报错，这是由于低于3.18的cmake不支持CUDA17的编译，需要更新cmake版本。因为安装的CUDA版本为12.1，这里选择最新版的CUDNN 9.4.0进行安装。
Python 类class的用法详解
十七次方
09-22 813
在 Python 中，使用 class 关键字来定义一个类。类定义通常包括类变量、实例变量和方法。
Python 高阶内容：套娃式装饰器巧妙为函数增加功能
敲代码别忘了喝上一杯凉白开。
09-23 565
装饰器是 Python 中一种非常强大且灵活的工具，能够在不修改函数本身的情况下，为函数增加额外的功能。本文介绍了装饰器的基本概念及应用，通过实例演示如何在函数执行前后添加额外操作，如鉴权、数据验证等，类似“套娃”般层层嵌套。文章还通过代码示例展示了如何定义和使用装饰器，以及如何将装饰器与实际业务逻辑结合，实现灵活的功能扩展。这种设计模式不仅可以提升代码的可读性和可维护性，还可以有效减少代码的冗余。掌握装饰器的用法，将为你的 Python 编程技巧增添更多亮点。
Python/大数据/机器识别毕业设计选题题目推荐
最新发布
初尘屿风的博客
09-27 728
基于Python和Diango在线购物商城系统+报告文档+指导搭建视频基于深度学习的人脸识别与管理系统，Python实现基于Python/机器学习链家网新房数据可视化及预测系统Python豆瓣电影情感分析推荐系统+爬虫+可视化，过滤算法基于python的django框架生鲜商城管理系统设计与实现基于Python的Flask微博话题舆情分析可视化系统设计基于Python豆瓣电影数据可视化分析系统+毕业论文+指导搭建视频基于Python天气预报数据可视化分析系统+毕业论文基于Python的深度学习音乐推荐系统+
多次cookie加密的反爬机制的示例代码
06-01
以下是一个简单的示例代码，展示了如何使用多次cookie加密来防止爬虫： ```python import hashlib # 加密算法1：对字符串进行MD5加密 def encrypt1(s): m = hashlib.md5() m.update(s.encode('utf-8')) return ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值