Js逆向分析+Python爬虫结合

于 2024-10-05 14:53:00 发布
阅读量245 收藏 13
点赞数 8
分类专栏： python 文章标签： javascript python 爬虫 逆向分析 爬虫实战 实战教程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45565886/article/details/142711817
版权

JS逆向分析+Python爬虫结合

特别声明📢：本教程只用于教学，大家在使用爬虫过程中需要遵守相关法律法规，否则后果自负！！！

  • 完整代码地址Github：https://github.com/ziyifast/ziyifast-code_instruction/tree/main/python-demo/spider-demo/spider-js。
  • 大家如果觉得还不错的话，欢迎star⭐️哦

1 概念

有时我们通过Python爬虫爬取数据会发现服务器返回的是密文数据，我们拿到密文之后，需要对它进行解密才能转换为可用数据。

  • 前端对服务器返回的密文数据是通过JS来进行解密的，这时我们就需要分析并找到前端解密的代码，应用到我们的爬虫，达到爬虫抓取并解密数据的效果。
  • 总结：JS逆向分析，大致就是我们 ①分析前端JS代码 + ②通过JS代码解密服务器返回的密文数据。

2 JS逆向分析

以烯牛平台数据为例，我们登录平台，访问目前国内最新赛道，服务发现服务器返回的都是加密后数据，这时我们就需要使用XHR断点，一步步进行逆向分析。
在这里插入图片描述

  • 平台链接：https://www.xiniudata.com/industry/newest?from=data

思路分析 & 定位JS文件

在这里插入图片描述

  1. 可以看到服务器返回回来的数据在d字段中，这种命名太过常见，因此我们不能通过关键字定位搜索对应的js代码。
  2. 因为返回的是json数据，前端js肯定会进行解码，所以我们可以搜索与JSON.parse()有关的方法，找到对应解码位置。
  3. f12打开开发者工具，抓请求包，找到请求发起的js文件，点击进入
    在这里插入图片描述

格式化JS代码 & 打XHR断点

  1. 点击进入js代码后，点击代码片段左下角的花括号，格式化js代码，同时根据上面的分析，搜索JSON.parse方法
    在这里插入图片描述
  2. 可以看到搜索结果有11个，但此处我们应该找入参由他自定义解析出的数据，不要选成了由内置的函数解析的数据，如：l = JSON.stringfy(n)，这种就该放过，不打断点。
    在这里插入图片描述
  3. y由前端自定义的方法而来，我们应该在此处打断点，因为这里很可能是解码的js部分。
    在这里插入图片描述

继续寻找，直到整个js文件搜索完成。最后我们在第30行、第38行为其打上断点。
在这里插入图片描述

刷新页面 & 移除无用断点

断点我们已经打好了，下面就需要我们刷新页面或者下滑，继续请求数据，以触发XHR断点。

  1. 刷新页面，触发断点
    在这里插入图片描述
  2. 我们发现断点走在了第30行的位置，这样我们就可以把其他断点去掉
    在这里插入图片描述

控制台 & 逆向分析JS

  1. 点击下一步，让程序往下执行一步，然后观察返回的数据是否是我们所需要的明文数据：
    在这里插入图片描述
  2. 来到控制台打印m的值，观察是否是我们需要的数据
    在这里插入图片描述
  3. 上面m发现是我们的个人信息，并非是我们所需要的数据，因此可直接跳过当前断点
    在这里插入图片描述
  4. 点击resume跳过断点后，发现程序再次走到JS代码的第30行。此时我们单步往下走一行，让程序计算出m的值
    在这里插入图片描述
  5. 控制台输入m，回车，观察控制台返回的是否是我们所需的数据
    在这里插入图片描述

可以看到，成功解析出明文数据，表明断点出的这个方法就是前端的JS解密逻辑处。

定位前端代码 & 完善JS

  1. 新建逆向JS代码，并拷贝这段JS代码
var d = Object(u.a)(s)
 , y = Object(u.b)(d)
 , m = JSON.parse(y);

在这里插入图片描述

  1. 控制台输入对应函数名，获取对应函数详细信息

可以看到上面的JS代码，我们并不知道Object(u.a)是什么意思，那么我们就放行，单步执行断点，待断点执行到Object(u.a)之后，就可以从控制台获取其具体值
在这里插入图片描述

  1. 控制台获取函数具体值：Object(u.a)，点击控制台返回结果，查看函数详情
    在这里插入图片描述
  2. 拷贝函数到我们逆向的JS代码
    在这里插入图片描述
    我们逆向的JS代码就成了：
// 将u.a替换为了d1
var d = Object(d1)(s)
 , y = Object(u.b)(d)
 , m = JSON.parse(y);

function d1(e) {
    var t, n, r, o, i, a, u = "", c = 0;
    for (e = e.replace(/[^A-Za-z0-9\+\/\=]/g, ""); c < e.length;)
        t = _keyStr.indexOf(e.charAt(c++)) << 2 | (o = _keyStr.indexOf(e.charAt(c++))) >> 4,
            n = (15 & o) << 4 | (i = _keyStr.indexOf(e.charAt(c++))) >> 2,
            r = (3 & i) << 6 | (a = _keyStr.indexOf(e.charAt(c++))),
            u += String.fromCharCode(t),
        64 != i && (u += String.fromCharCode(n)),
        64 != a && (u += String.fromCharCode(r));
    return u
}

重复此步骤，不断完善我们自己新建的JS代码，直到能正确解析出服务器返回的密文数据。

  • 服务器返回的密文数据获取：
    在这里插入图片描述
  • 拷贝到自己的逆向JS代码，然后执行，观察是否能解析成功
    在这里插入图片描述
  • 执行JS代码，解析成功
    在这里插入图片描述

3 JS+Python爬虫结合实战

curl自动生成Python爬虫

  1. 复制请求为curl

在这里插入图片描述

  1. 将curl转换为Python代码

网站链接：https://spidertools.cn/#/curl2Request
在这里插入图片描述

调用execjs执行我们编写的逆向JS

Python代码和js逆向代码都就绪了，剩下的就是我们通过execjs在Python代码中使用了。

全部python代码

demo01-JS逆向入门.py:

import requests
import json
# 执行命令安装：pip install pyExecJs
import execjs


headers = {
    "accept": "application/json",
    "accept-language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",
    "content-type": "application/json",
    "origin": "https://www.xiniudata.com",
    "priority": "u=1, i",
    "referer": "https://www.xiniudata.com/industry/newest?from=data",
    "sec-ch-ua": "\"Chromium\";v=\"128\", \"Not;A=Brand\";v=\"24\", \"Microsoft Edge\";v=\"128\"",
    "sec-ch-ua-mobile": "?0",
    "sec-ch-ua-platform": "\"macOS\"",
    "sec-fetch-dest": "empty",
    "sec-fetch-mode": "cors",
    "sec-fetch-site": "same-origin",
    "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36 Edg/128.0.0.0"
}
cookies = {
    "btoken": "ZOH2JO8CQ3CUE1YH9PC3K6TG1Z3HCEAE",
    "hy_data_2020_id": "192383e583c10e1-06189fe412f809-7e433c49-1484784-192383e583d26f6",
    "hy_data_2020_js_sdk": "%7B%22distinct_id%22%3A%22192383e583c10e1-06189fe412f809-7e433c49-1484784-192383e583d26f6%22%2C%22site_id%22%3A211%2C%22user_company%22%3A105%2C%22props%22%3A%7B%7D%2C%22device_id%22%3A%22192383e583c10e1-06189fe412f809-7e433c49-1484784-192383e583d26f6%22%7D",
    "Hm_lvt_42317524c1662a500d12d3784dbea0f8": "1727520463,1727571559",
    "HMACCOUNT": "CA33EC3F1CCD3E5F",
    "utoken": "Z1MNZUNI27IG3HYGMABLAIRRP67D1DF4",
    "username": "Clay",
    "Hm_lpvt_42317524c1662a500d12d3784dbea0f8": "1728100324"
}
url = "https://www.xiniudata.com/api2/service/x_service/person_industry_list/list_industries_by_sort"
data = {
    "payload": "LBc3V0I6ZGB5bXsxTCQnPRBuDgQVcDhbICcmb2x3AjI=",
    "sig": "45B0ECB73CAE7AEA531F5A39B29023A0",
    "v": 1
}
data = json.dumps(data, separators=(',', ':'))
response = requests.post(url, headers=headers, cookies=cookies, data=data)

# 解析json响应，获取加密后数据
# print(response.json()["d"])

# 调用我们编写好的逆向JS函数，解密数据
decode_data = execjs.compile(open('./demo01.js', 'r', encoding='utf-8').read()).call('decode_data', response.json()["d"])
print(decode_data)

如果出现报错：execjs not found，执行下面命令安装：

pip install pyExecJs
全部逆向js代码

js解密代码，我们无需理解，直接拷贝即可

// s = '服务器返回的加密数据'
function decode_data(encode_data) {
    var d = Object(d1)(encode_data)
        , y = Object(d2)(d)
        , m = JSON.parse(y);
    rte = m
    return rte
}

function d1(e) {
    var _keyStr = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/=";
    var t, n, r, o, i, a, u = "", c = 0;
    for (e = e.replace(/[^A-Za-z0-9\+\/\=]/g, ""); c < e.length;)
        t = _keyStr.indexOf(e.charAt(c++)) << 2 | (o = _keyStr.indexOf(e.charAt(c++))) >> 4,
            n = (15 & o) << 4 | (i = _keyStr.indexOf(e.charAt(c++))) >> 2,
            r = (3 & i) << 6 | (a = _keyStr.indexOf(e.charAt(c++))),
            u += String.fromCharCode(t),
        64 != i && (u += String.fromCharCode(n)),
        64 != a && (u += String.fromCharCode(r));
    return u
}

function d2(e) {
    _p = "W5D80NFZHAYB8EUI2T649RT2MNRMVE2O";
    for (var t = "", n = 0; n < e.length; n++) {
        var r = _p.charCodeAt(n % _p.length);
        t += String.fromCharCode(e.charCodeAt(n) ^ r)
    }
    return t = _u_d(t)
}

function _u_d(e) {
    for (var t = "", n = 0, r = 0, o = 0, i = 0; n < e.length;)
        (r = e.charCodeAt(n)) < 128 ? (t += String.fromCharCode(r),
            n++) : r > 191 && r < 224 ? (o = e.charCodeAt(n + 1),
            t += String.fromCharCode((31 & r) << 6 | 63 & o),
            n += 2) : (o = e.charCodeAt(n + 1),
            i = e.charCodeAt(n + 2),
            t += String.fromCharCode((15 & r) << 12 | (63 & o) << 6 | 63 & i),
            n += 3);
    return t
}

验证

执行Python爬虫代码，完整能否正确抓取并解析数据

在这里插入图片描述

完整代码

Github：https://github.com/ziyifast/ziyifast-code_instruction/tree/main/python-demo/spider-demo/spider-js

NPE~
关注
专栏目录
Python爬虫JS逆向进阶课程
06-08
这门课程是Python爬虫JS逆向进阶课程，将教授...课程结合实例演练和项目实践，帮助学员掌握Python爬虫和JS逆向技术的核心概念，从而实现高效的数据获取和处理。无论您是Python爬虫初学者还是有经验者，都能从中获益。
Python-Python3爬虫实战JS加解密逆向教程
08-10
总结来说，"Python-Python3爬虫实战JS加解密逆向教程"涵盖的内容包括但不限于：使用Selenium进行动态内容抓取，JavaScript逆向工程，理解并应用加密算法，处理混淆代码，以及应对验证码和IP限制等。掌握这些技能将使...
python爬虫之JS逆向——爬虫基础
qq_63043783的博客
05-29 1865
本文介绍了前端开发中的三大基础技术：HTML、CSS和JavaScript。其中，涵盖了HTML标签、CSS样式表、JavaScript基础语法、运算符、分支语句、循环语句、函数以及内置方法等内容，旨在帮助读者了解前端开发的基础知识，在将来服务于爬虫
Python爬虫：逆向分析某云音乐加密参数
热门推荐
夏小悠的博客
09-22 4万+
本篇博文通过对网易云音乐进行逆向分析，用Python代码模拟了AES和RSA加密过程，并在文章的末尾提供了一些参数，可以用这些参数来获取歌曲对应的歌词及用户的评论。
Python爬虫js逆向+实战
weixin_42955222的博客
09-07 6108
我们可以逐步的往内去分析，看每次传入的数和返回的参数**这是逆向最重要的一点（过程就是一步步的往里找） 我们现在看到了组包，还得继续往内找， 发生事 this.paramData 来接受的请求参数 我们接着去找paramData。5.我们现在现在通过包的启动器来看一下堆栈的信息，Send 有两个 VM的我们就先不考虑， 我们点击后面的链接可以调到send 的js代码段。我们现在拿到了请求参数，但是我们需要知道那些值是会变的，那些值是不变的，变动的值我们需要去获取他的加密js。v2transapi?
【Python爬虫与数据分析】爬虫逆向js代码
phoenixFlyzzz的博客
04-18 3506
逆向解析js代码，爬取百度翻译结果数据包并实现翻译软件
python爬虫之JS逆向——网页数据解析
qq_63043783的博客
06-01 1928
本文主要学习了对网页数据解析的三种库：正则、bs4和xpath，这三种库有其所对应的方法，其中，正则复杂，使用较少；xpath简单，使用较多 对正则学习到会用和能看懂即可，bs4和xpath需要掌握精通
python爬虫js逆向（标准算法加密）
benbenxinchen的博客
05-25 2831
答：加密前的内容一致时，加密后的结果一定相同！md5在线加密网站输入加密，发现真的是md5加密（对照加密后的字符串和前面网页控制台的n(o)后的字符串是否一样）。可以看出n()函数是MD5加密函数，o则是其中的待加密字符串（仔细观察发现是数据包中的请求载荷的参数）小知识点：常见的标准算法md5（32位）、sha1（40位）这种找标准算法的方法属于投机取巧了，有些并不是标准算法，而是js混淆，那么这个时候就需要另一种方法（补代码）！！！
Python爬虫：通过js逆向分析某翻译网站的原理
坚持不懈的大白的博客
12-03 1425
Python爬虫：通过js逆向分析某翻译网站的原理
python爬虫js逆向加密,Python爬虫进阶JS逆向之新榜登录
weixin_42287030的博客
03-26 323
抓包调试登录一个 XHR 请求，下断点。或者搜索请求参数断点打完断点后，重新发起请求，结果如下：分析此时的断点位置，一般是一个 XMLHttpRequest 的请求操作。所以我们顺着调用栈往回追。找到了密码加密的地方，看代码调用了两次 h 函数。其中第二次调用的的参数是将第一次返回的结果加上 d.mdValue 的值！我们点击进入 h 函数函数h将这部分代码扣下来，写到本地 JS 文件中在本地运行...
python 爬虫之js逆向爬虫详解
naer_chongya的博客
05-26 6342
JS逆向是一种分析反爬机制的行为，通过分析反爬机制如何加密、混淆和模拟JS代码的执行，使之能够成功处理并渲染网页。由于JS逆向的方式需要进行复制粘贴，因此开发过程中需要耗费一定的时间和精力。在Python上，我们可以使用Requests和Selenium等库来获取页面元素或模拟人类操作。Requests库是一种强大、简洁的HTTP请求库。而Selenium是一个自动化测试框架，用于模拟用户在浏览器中的操作。过程如下：使用Requests# 获取页面# 对页面进行解析# ...使用Selenium。
Python爬虫必备： 爬虫基础+js逆向+app逆向+案例
01-18
本资源包"Python爬虫必备：爬虫基础+js逆向+app逆向+案例"涵盖了Python爬虫的基础知识，JavaScript逆向工程以及移动应用（App）的逆向分析，旨在提供一套完整的爬虫学习路径。 首先，让我们深入探讨Python爬虫基础...
Python爬虫JS逆向进阶课程-课程网盘链接提取码下载 .txt
06-08
这门课程是Python爬虫JS逆向...课程结合实例演练和项目实践，帮助学员掌握Python爬虫和JS逆向技术的核心概念，从而实现高效的数据获取和处理。无论您是Python爬虫初学者还是有经验者，都能从中获益。 课程大小：8.3G
knowLedge-Vue I18n 是 Vue.js 的国际化插件
2301_76671906的博客
09-30 883
Vue 2 中使用 Vue I18n 插件实现中英文切换
JavaScript ArrayBuffer的读写与类型转换
白瑕 的博客
10-01 417
所有视图的基本单位是ArrayBuffer, ArrayBuffer中只存储二进制格式的数据.ArrayBuffer不可直接读写, 必须通过视图(比如DataView)暴露的API.
Vue实战教程：如何用JS封装一个可复用的Loading组件
Jiaberrr的博客
09-28 586
通过以上步骤，我们成功在Vue项目中封装了一个可复用的Loading组件。在实际开发中，我们可以根据项目需求对Loading组件进行样式和功能的扩展，使其更加完善。封装组件是提高代码复用性和维护性的有效手段，希望本文能对你有所帮助。
如何使用Redisson的布隆过滤器？
最新发布
付聪
10-02 325
【代码】如何使用Redisson的布隆过滤器？
Web认识 -- 第一课
ZxVSaccount的博客
09-30 1167
这里是我们进入前端学习的开端,在本次更新之后我会陆续上传html,css,javaScript等相关语言的教程,有感兴趣的小伙伴们点点关注,未来我们一起学习!IE、火狐和谷歌是目前互联网上的三大浏览器，其他常用的浏览器还有苹果的Safari浏览器和欧朋浏览器等。对于一般的网站，只要兼容IE浏览器、火狐浏览器和谷歌浏览器，就能满足绝大多数用户的需求。本节主要简单介绍了一下关于HTML、CSS、JavaScript的一些基本概念,有感兴趣的朋友,点点关注我们一起学习,博主持续更新中!
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值