简单js加密反爬的处理思路

最新推荐文章于 2024-08-07 08:05:28 发布
最新推荐文章于 2024-08-07 08:05:28 发布
阅读量3k 收藏 24
点赞数 7
分类专栏： 爬虫 文章标签： 爬虫 js加密反反爬
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42525191/article/details/96717037
版权

简单js加密分析--初级爬虫

这里简单分析一下中国 裁 判-文 书网的js加密，不展示具体代码。

先看看要爬什么数据

要爬取的数据

来看看页面源码

页面源码

很显然，页面内容是ajax动态加载的。
那么我们打开浏览器调试工具，刷新页面，选择network–xhr，如下图：
在这里插入图片描述
一个个查看内容，发现第二个内容如下：

在这里插入图片描述
这正是我们需要的数据，分析该请求，可以看到，该请求是post请求，有三个字段是加密字段，如下图：

在这里插入图片描述
我们打开postman进行测试，经过各种测试后发现，请求头里只有cookie是必须的&#x

最低0.47元/天 解锁文章
(三)Python反爬实战---JS反爬之某网站将json串Data数据加密成一串数字字母
郑德帅
07-31 2429
   python反爬经验实战，适合小白入门，新手提升，大牛晋升。包含本人目前遇到反爬汇总，文章一周一篇，为了质量考虑，更新较慢，敬请谅解。购买专栏私信博主加微信，可无偿提供学习辅助。 某网站将json串数据Data加密成一串数字字母1 加密数据分析 1 加密数据分析 数据加密成如图格式，短时间内还真不知道怎么用语言描述，所以就取了个标题这样的文字来描述了 而关于这个Data字段到底是什么，有多大，我们可以来看个大一点的截屏（依旧没有截全…） 根据经验，很明显这个Data就是我们需要的数据，这里..
python爬虫处理js混淆加密_python爬虫之破解javascript-obfuscator的混淆加密
weixin_39930711的博客
11-24 1459
接上一篇有关前端加密达到反爬的文章，是不是觉得用了javascript-obfuscator 就很安全了，那还真不一定啊，还是那句，反爬与反反爬一直在斗争，没有谁能绝对的压制另一方，只有使用者技术的高低。以下就是一个大神的针对javascript-obfuscator库的破解。死代码与花指令在开始之前，我们先了解一下这种「在代码中插入大量无用代码以混淆视听」的混淆方式吧。这种混淆方式有两种叫法，或...
Python-解决爬虫中遇到的js加密问题
08-10
解决爬虫中遇到的js加密问题
反爬虫五：js参数加密
pygodnet的博客
12-14 1627
一：什么是js参数加密 js参数加密是在请求中对部分参数进行加密，或引入新的加密参数，从而你保障接口安全，增加接口破解难度，特别一些无登录的网站。本文将以有道翻译的js加密实现为例 有道翻译js加密逻辑 有道翻译请求参数如下： 其中的salt，sign，lts都是js 加入的参数。其加密方法的js代码在其main.js 摘取部分如下: function(e, t) { var n = e("./jquery-1.7"); e("./utils"); e("./md5");
简单js反爬处理思路 part2
越学越害怕的博客
10-31 414
简单js反爬处理思路 part2声明目标分析k函数外层 “_” 函数 声明 仅作为学习分享，未展示具体代码 本人比较菜，这次做的是七麦网 analysis 参数的获取，不足之处请评论指出 目标 首先看看我们的目标 这个就是我们的目标了 https://www.qimai.cn/zhuanlan 分析 首先，我们ctrl+shift+f全局搜索 analysis 参数，发现并没有搜到东西。 为了高...
nextjs 明文数据加密
h666000的博客
06-19 587
nextjs 明文数据加密。
【JS 逆向百例】网洛者反爬练习平台第一题：JS 混淆加密，反 Hook 操作
01-06 1042
【JS 逆向百例】网洛者反爬练习平台第一题：JS 混淆加密，反 Hook 操作 声明 本文章中所有内容仅供学习交流，抓包内容、敏感网址、数据接口均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关，若有侵权，请联系我立即删除！ 写在前面 题目本身不是很难，但是其中有很多坑，主要是反Hook 操作和本地联调补环境，本文会详细介绍每一个坑，并不只是一笔带过，写得非常详细！ 通过本文你将学到： Hook Function 和定时器来消除无限 debugger； 解决反 Ho
简单js加密反爬的处理思路 part3（fp和cb的解决）
越学越害怕的博客
04-15 4956
简单js加密反爬的处理思路 part32020.04.15目标分析请求分析第一个请求参数 2020.04.15 易某盾滑块（不含轨迹） 目标 通过传入网页自己滑动的轨迹让服务器返回 { "data": { "result": true, "token": "9517866205544b73b4e3d950058ed798", "validate": "6usGEK7boS4v0+0f...
破解js加密反爬综述
shanlusai9801的博客
04-03 1953
破解js加密反爬综述 微信公众号：在敲代码啦 闲谈 上周发懒，没有更贴。结果一个小伙伴居然私我希望我周更帖，这个消息对我来说是莫大的鼓励。总是胡说八道的我居然得到了小伙伴的认可，这足以让我嘚瑟一整子。这次决定给大家带来一些干货，分享一下我破解js加密反爬的经验，希望对大家能有所帮助。 正文 破解js加密反爬主要分三步：一、js代码调试；二、查询关键词的确认；三、js...
js加密数据爬取
weixin_38170862的博客
07-30 305
-中国空气质量在线监测分析平台是一个收录全国各大城市天气数据的网站，包括温度、湿度、PM 2.5、AQI 等数据，链接为：https://www.aqistudy.cn/html/city_detail.html,网站显示为： 该网站所有的空气质量数据都是基于图表进行显示的，并且都是出发鼠标滑动或者点动后才会显示某点的数据，所以如果基于selenium进行数据爬取也是挺吃力的...
当你写爬虫遇到APP的请求有加密参数时该怎么办？【初级篇-常规模式】
zhangmiaoping23的专栏
03-11 955
嗯，在看完了《当你写爬虫抓不到APP请求包的时候该怎么办？》系列之后，同学们对抓APP的请求包应该已经是轻车熟路了吧。在对想爬的APP抓个包之后你可能会发现，只是抓到包似乎没有什么卵用啊，凡是有用的接口基本都有一个或多个加密的参数，而且它还每次请求都变，而自己去请求对应的接口时，如果没带或者随便输入一串值给这种参数，还会出现不返回数据的情况，这可怎么办才好？ 别担心，据我观察，目前至少80%左右...
web爬虫学习（六）——CSS反爬加密彻底破解
livan1234的博客
04-10 3997
笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。 我的公众号为：livandata 0 惯性嘚瑟 刚开始搞爬虫的时候听到有人说爬虫是一场攻坚战，听的时候也没感觉到特别，但是经过了一段时间的练习之后，深以为然，每个网站不一样，每次爬取都是重新开始，所以，爬之...
爬get接口_Python爬虫十三 网站的反爬
weixin_39634898的博客
12-23 147
使用Python可以爬虫，那么网站就会出现反爬虫，我们又会根据网站反爬虫逻辑方法，制定反反爬。。。。爬虫和反爬的对抗一直在进行中。。。一、反爬方式的种类1、判断请求头来进行反爬这是很早期的网站进行的反爬方式User-Agent 用户代理referer 请求来自哪里cookie 也可以用来做访问凭证解决办法：请求头里面添加对应的参数(复制浏览器里面的数据)2、根据用户行为来进行反爬...
反爬虫和模块get post
11-10 124
urllib模块只能用get urllib2模块既有get也有post 网址url = urllib2.urlopen(‘ http://www.zhanjibao.com/core/search/player',data = 'nickname=%E9%9B%AA%E5%9F%9F%E6%9E%AB ‘)有data表示post请求 urllib2模块 ...
在网上申请的API怎么postman测试
qq_44742873的博客
11-05 355
登录百度智能云，如果已经有买好的api ，可依次点击右上角的买家中心、订单列表的订单号，最后可以得到这个页面，也就是这个api的秘钥 点击去调试得到以下页面 在这里可以发现有需要带的请求头的信息 再次点击去调试 这里可以看到 左侧需要填的信息 认证秘钥 Access Key：这里填AccessKey Secret Key：这里填的是AppSecret Region 随便选一个 Header 两个框的一个key一个value Content-Typ ...
反爬虫的四种常见方式-JS逆向方法论
westlife73的博客
03-10 2238
因为我们已经在陷阱里面了，所以要刷新页面，JS的运行应该停止在设置的断点处，此时该函数尚未运行，我们在Console里面重新定义它，继续运行就可以跳过该陷阱。首先把Chrome浏览器保存的该网站的cookie删除，按F12到Network窗口，把“preserve log”选中（Firefox是“Persist logs”），刷新网页，这样我们就可以看到历史的Network请求记录。JS会响应链接被点击的事件，在打开链接前，先访问cl.gif，把当前的信息发送给服务器，然后再打开被点击的链接。
JS爬虫逆向
starry-sea1412的弃坑之路
08-07 1788
JavaScript爬虫逆向是现代网络数据采集的重要组成部分，适合面对动态内容和复杂数据加载的网站。理解其原理及操作流程，将使开发者能够更有效地获取、分析和利用数据，为决策提供有力支持。
js爬虫反扒
weixin_40303822的博客
02-24 2658
3、js动态网页抓取方式（重点） 许多时候爬虫取到的页面仅仅是一个静态的页面，即网页的源代码，就像在浏览器上的“查看网页源代码”一样。 一些动态的东西如javascript脚本执行后所产生的信息是抓取不到的，下面两种方案，可用来python爬取js执行后输出的信息。 ① 用dryscrape库动态抓取页面 js脚本是通过浏览器来执行并返回信息的，所以，抓取js执行后的页面，一个最直接的方式就是用python模拟浏览器的行为。 WebKit 是一个开源的浏览器引擎，python提供了许多库可以调用这个引擎，d
数据爬取 js 分析（一）：Python 爬虫分析网页 js加密解密
Herishwater的博客
05-30 9138
在前几天学习 Python 模拟登录知乎实例，其中关于涉及到了 fromdata 的加密处理，再学习的过程中，发现利用 chrome devtool调试分析网页还是有很多技巧需要学习，因此自己找了一个简单的实例用来学习 js 加密。 一、实例网站 本实例的网站是中国空气质量分析平台，学习利用 chome 浏览器的 devtool 工具对 fromdata 进行加密处理。 二、分析页面逻辑 1.抓包......
当爬虫遇到aes加密
最新发布
04-18
<think>好的，我现在需要帮助用户解决在爬虫中处理AES加密的问题，特别是如何获取和使用key与IV。用户之前已经询问过如何生成AES的key和iv，现在进一步想了解在爬虫逆向中的具体应用。 首先，我需要回顾用户之前的提问和我的回答，确保信息的一致性。之前我介绍了生成key和iv的方法，包括基于密码和盐值的生成以及直接使用固定值的方法，但用户现在的关注点转向了爬虫如何获取这些参数。 接下来，用户提供了三个引用，需要参考这些内容。引用1提到AES解密需要四个参数：key、iv、mode、pad，并提到抓包获取密文。引用2是关于JS逆向获取key和iv的代码示例，涉及将数组转化为字节序列。引用3是一个Python爬虫案例，分析AES加密参数。这些引用说明用户需要具体的逆向工程步骤，可能涉及网络抓包、JS代码分析以及参数提取。 用户的问题是如何在爬虫中处理AES加密，获取并使用key和iv。结合之前的回答和引用，我需要分步骤说明常见的逆向方法，并提供示例代码，同时强调安全性和法律问题。 首先，我会考虑抓包分析，这是获取加密参数的基础。比如在开发者工具中查看网络请求，寻找加密参数的位置。然后，需要逆向JavaScript代码，因为很多网站会在前端生成或使用这些参数。这里可能需要调试JS，查找关键词如CryptoJS、AES、encrypt等，定位关键函数，提取key和iv。此外，还可能遇到WebAssembly或混淆代码，需要更深入的分析技巧。 接着，动态Hook技术也是一个有效的方法，通过中间人攻击或浏览器插件拦截加密函数的参数，直接获取key和iv。例如使用Frida工具Hook加密函数，实时捕获参数。 然后，内存dump也是一种方法，但可能复杂且有法律风险，需谨慎使用。 在示例分析部分，可以举一个简单的JS逆向案例，展示如何从加密代码中提取参数。比如在JS中找到加密逻辑，分析key和iv的生成方式，并用Python模拟生成过程。 最后，注意事项部分需要强调法律合规性、参数动态变化和反爬机制的存在，提醒用户在实际操作中遵守规定，并注意参数可能定期更换或混淆。 需要确保回答结构清晰，步骤明确，代码示例正确，并且引用之前的资料。同时，生成的相关问题要针对用户可能进一步的需求，比如参数变化、混淆处理、动态调试工具等。</think>### 爬虫处理 AES 加密的 Key 和 IV 获取方法 在爬虫逆向工程中，AES 加密的 Key 和 IV 通常需要从目标网站的 JavaScript 代码或网络请求中动态提取。以下是具体方法和步骤： --- #### **1. 抓包分析加密参数** **目标**：通过抓包工具（如 Chrome DevTools、Fiddler、Charles）观察网络请求，定位加密参数的位置。 - **示例场景**： 若网站请求参数中包含密文（如 `encryptedData`），且响应数据为 AES 加密后的内容，需确认 Key 和 IV 是否通过以下方式传递： - **请求头/请求体**：Key 或 IV 可能直接包含在请求参数中（如 `key=xxx&iv=xxx`）。 - **Cookie/Token**：某些场景下，Key 可能通过动态 Token 生成。 - **固定值**：部分网站使用硬编码的 Key 和 IV（需通过 JS 逆向确认）。 **引用案例**： 在[某看准招聘网站](aHR0cHM6Ly93d3cua2Fuemh1bi5jb20vZmlybS9yZWNydWl0LzBueF8zZ35-Lmh0bWw/a2E9Y29tLXJlY3J1aXQtbW9kdWxlLWV4cG9zZQ==)中，AES 加密参数通过 JS 动态生成，需逆向其加密逻辑[^3]。 --- #### **2. JS 逆向定位 Key 和 IV** **核心思路**：分析前端 JavaScript 代码，定位 AES 加密逻辑，提取 Key 和 IV 的生成逻辑。 **步骤**： 1. **搜索关键词**：在 JS 代码中搜索 `CryptoJS`、`AES`、`encrypt`、`decrypt`、`key`、`iv` 等关键词。 2. **分析加密函数**：找到类似以下代码片段： ```javascript var key = CryptoJS.enc.Utf8.parse("1234567890abcdef"); var iv = CryptoJS.enc.Utf8.parse("abcdef1234567890"); var encrypted = CryptoJS.AES.encrypt(plainText, key, { iv: iv }); ``` 3. **提取动态参数**：若 Key/IV 通过接口动态获取，需追踪其生成逻辑（如调用 `Math.random()`、时间戳哈希等）。 **引用案例**： 在 JS 逆向中，通过解析 `CryptoJS` 的 `words` 数组（存储加密参数）可提取 Key 和 IV[^2]： ```python # 示例代码：将 JS 中的 words 数组转为字节序列 import struct data = {"words": [0x12345678, 0x90abcdef], "sigBytes": 8} byte_sequence = b''.join(struct.pack('>I', num) for num in data["words"]) byte_sequence = byte_sequence[:data["sigBytes"]] key_iv = byte_sequence.decode('latin-1') # AES 参数通常以 Latin-1 编码存储 print(key_iv) # 输出 Key 或 IV ``` --- #### **3. 动态 Hook 技术** **工具**：使用浏览器插件（如 Overrides、Tampermonkey）或中间人工具（如 Frida）拦截加密函数。 **方法**： - **Hook `CryptoJS.AES.encrypt`**：在 JS 执行时，捕获传入的 Key 和 IV。 - **拦截网络请求**：在请求发起前，记录加密参数。 **示例**（Frida 脚本）： ```javascript Interceptor.attach(Module.findExportByName("libcrypto.so", "AES_encrypt"), { onEnter: function(args) { var key = args[1].readUtf8String(16); // 读取 AES-128 密钥 var iv = args[2].readUtf8String(16); // 读取 IV console.log("Key:", key, "IV:", iv); } }); ``` --- #### **4. 内存 Dump 分析** **适用场景**：若 Key/IV 在运行时生成且难以逆向，可通过内存分析工具（如 Cheat Engine）提取内存中的密钥数据。 **风险**：需处理反调试机制，且可能涉及法律问题。 --- ### **示例：某网站 AES 加密逆向** 以[精灵数据网站](https://www.jinglingshuju.com/)为例： 1. **抓包**：发现请求参数中包含 `encryptedData`。 2. **JS 逆向**：找到加密函数，发现 Key 和 IV 通过以下逻辑生成： ```javascript function generateKey() { var timestamp = Date.now(); return CryptoJS.SHA256(timestamp.toString()).toString().slice(0, 32); // Key 为时间戳的 SHA256 前 32 位 } ``` 3. **Python 模拟**： ```python import hashlib import time timestamp = int(time.time() * 1000) key = hashlib.sha256(str(timestamp).encode()).hexdigest()[:32] iv = hashlib.md5(str(timestamp).encode()).hexdigest()[:16] ``` --- ### **注意事项** 1. **合法性**：确保爬虫行为符合目标网站的 `robots.txt` 和法律法规[^1]。 2. **动态变化**：Key 和 IV 可能定期更换（如基于时间戳），需动态生成。 3. **反爬机制**：部分网站会混淆 JS 代码或使用 WebAssembly 保护加密逻辑。 --- ### 相关问题 1. 如何应对网站 AES 加密参数的动态变化？ 2. 如何处理 JS 代码混淆后的 AES 加密逻辑？ 3. 有哪些工具可以辅助动态调试加密函数（如 Frida、Xposed）？ 4. 如何验证提取的 Key 和 IV 是否正确？
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值