手把手操作JS逆向爬虫入门(一)

已于 2022-02-01 09:36:22 修改
阅读量7.8k 收藏 152
点赞数 26
分类专栏： python爬虫 文章标签： 爬虫 javascript 前端 JS逆向
于 2022-01-05 22:47:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45387160/article/details/122333002
版权
本文详细介绍了如何通过逆向工程解析网站动态参数的加密机制，以实现自动化爬虫。首先，定位并分析nonce和xyz参数的生成函数，分别是一个随机字符串生成器和MD5加密函数。接着，使用JS代码在Python环境中复现这两个函数，最终成功构造POST请求，实现对指定网站资讯版块的翻页爬取。整个过程中强调了调试、理解和重构JavaScript代码的重要性。
摘要由CSDN通过智能技术生成

本文爬取的网站如下（可以找解密工具解码）

aHR0cHM6Ly9uZXdyYW5rLmNuLw==

爬取的内容为网站的资讯情报版块的新闻资讯

鼠标点击翻页，在开发者工具中查看请求包，很容看出请求地址和参数，

其中post请求的参数如图：

 其中变化的参数为nonce和xyz，我们的目标就是找出这两个参数的加密原理，就是加密函数。然后用python代码编写函数生成该加密参数，或者抠出JS代码，然后在python中调用生成加密参数，然后传入post请求，实现爬虫。

逆向过程：
1、搜索参数nonce，会有如下结果：

 2、选择任一结果，选择美化代码，找到JS代码中该参数

最低0.47元/天 解锁文章
JavaScript逆向爬虫
Liu_Bruce的博客
04-05 1872
逆向JavaScript代码，找出其中的加密逻辑，直接实现该加密逻辑进行爬取。如果加密逻辑过于复杂，我们也可以找出一些关键入口，从而实现对加密逻辑的单独模拟执行和数据爬取。常用的JavaScript逆向技巧，包括浏览器工具的使用、Hook技术、AST技术、特殊混淆技术的处理、WebAssembly技术的处理。掌握这些技术，可以更从容的应对JavaScript防护技术。
简单的JS逆向爬虫
qq_31026281的博客
05-06 858
# -*- coding: UTF-8 -*- import requests import execjs url = "https://fanyi.baidu.com/v2transapi" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Fire...
爬虫攻略（一）
weixin_33875564的博客
02-15 637
互联网 Web 就是一个巨大无比的数据库，但是这个数据库没有一个像 SQL 语言可以直接获取里面的数据，因为更多时候 Web 是供肉眼阅读和操作的。如果要让机器在 Web 取得数据，那往往就是我们所说的“爬虫”了。现在项目需要，所以研究研究，把大概的过程和“坑”记录下来，也欢迎大渣批评和补充。 爬虫的思路十分简单： 按照一定的规律发送 HTTP 请求获...
2024最新版JavaScript逆向爬虫教程-------基础篇之Chrome开发者工具学习
最新发布
Amo Xiang的博客
11-07 2133
本文详细介绍了Chrome开发者工具的使用，包括Elements、Console、Sources、Network和Application面板的各个功能。重点讲解了如何利用开发者工具进行JS逆向调试，如搜索、查看请求调用堆栈、设置XHR请求断点和Console插桩。同时，还介绍了本地覆盖方法Chrome local override，以便在本地修改和调试网页资源。
JS逆向爬虫（一）
小马哥的博客
01-04 2093
S逆向是在爬虫或POC脚本访问请求时，连接请求需要携带动态生成的请求头参数，比如常见的csrf请求头，诸如此类的限制来实现反爬
爬虫 — Js 逆向
记录学习过程，欢迎讨论交流~
09-19 2951
爬虫、反爬虫、加密解密、常用加密方式、常见加密算法、JS 中常见的算法、MD5 算法、DES/AES 算法、RSA 算法、base64 算法、node.js 环境配置、PyCharm 环境配置
关于爬虫如何做js逆向的思路
04-26
阿里云资料ppt讲解介绍 来越的的公司注重数据，如何断绝他人独立网站数据是如今互联网公司的一个主题。js加密作为爬虫一个绕不过的关卡，如何更加有效率的破解加密参数，相信这节课会给你一个大概的思路。
js爬虫
weixin_35756892的博客
12-30 1506
JS 爬虫是指使用 JavaScript 语言编写的爬虫程序。这种爬虫可以通过在浏览器中执行 JavaScript 代码来模拟人类浏览网页的行为，从而获取网页上的数据。 JS 爬虫与传统的爬虫有一些不同之处，因为它是在浏览器中执行的，而不是直接在服务器端运行。这意味着，JS 爬虫可以更好地处理网页的动态内容，因为它可以直接执行网页上的 JavaScript 代码。 要使用 JS 爬虫爬取网页，通常...
手把手操作JS逆向爬虫入门(三)---Headers请求头参数加密
weixin_45387160的博客
11-06 2759
index.js文件里搜索 getApiKey，不难发现，getApiKey由comb函数处理e,t两个 参数，而comb函数 就是对参数拼接后进行base64编码（如图方框处btoa）。抠出是上述js代码，新建js文件okyunlina.js，并写一个生成x-apiKey参数的函数入口。通过搜索encryptApiKey和encryptTime两个函数名，不难找出其生成原理。通过抓包分析请求，不难发现，该网站的请求头headers里有一个参数x-apiKey。这样只要找到两个参数的来源，就解决问题了。
JS逆向进阶篇【去哪儿旅行登录】【下篇-逆向Bella参数JS加密逻辑&Python生成】
孤寒者的博客
03-05 3万+
JS逆向进阶篇【去哪儿旅行登录】【下篇-逆向Bella参数JS加密逻辑&Python生成】
python爬虫之JS逆向
qq_45562973的博客
06-11 2367
Python爬虫之JS逆向案例由于在爬取数据时，遇到请求头限制属性为动态生成，现将解决方式整理如下：JS逆向有两种思路：本文介绍的是第二种使用Python重写JS的方法第一步：在浏览器中使用开发者工具找到相应的接口[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TTShEzjL-1654923044961)(https://img2022.cnblogs.com/blog/505712/202206/505712-20220611111103875-443247577.png
Python-Python3爬虫实战JS加解密逆向教程
08-10
Python-Python3爬虫实战JS加解密逆向教程
JS逆向进阶篇【过咪咕登录】【附带源码】
热门推荐
孤寒者的博客
02-07 3万+
JS逆向进阶篇【过咪咕登录】【附带源码】
用js写个爬虫
qingshandaijason的博客
04-30 6758
如何用js完成爬虫项目前言一、node.js的安装二、确定爬取网页三、查看分析网页源码四、开始写爬虫1、npm···2.读入数据总结二、使用步骤1.引入库2.读入数据总结功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 前言 这是我
JS爬虫
m0_50539742的博客
11-03 142
.find("a") .each(function (index, ele) { // console.log($(ele).text().trim()) menu.push($(ele).text().trim()); }); menuData.push({ title: title, menu: menu, }); }); return menuData; } // 打印菜单里面数据 functi..
javascript爬虫
qq_43622870的博客
11-30 8516
用js爬虫，使用到nodejs 例子中爬取的是中国新闻网时政频道的最新10条新闻的title和链接 事先准备： 1、先去node官网下载安装一下 2、推荐vs code，需要通过终端下载插件，不想的话用cmd小黑框做终端，记事本写代码也行。 开始 1、新建文件夹，注意该文件夹名字不能包含中文 2、代码： const request = require('request');// const iconv = require('iconv-lite');//设置编码格式 const Cheerio = req
js - 爬虫的实现
qq_43612151的博客
08-08 9555
爬虫的原理 爬虫，就是一个自动爬取网页上展示的信息的工具。我们要写一款爬虫，就要满足下面的条件： 网络的请求。首先我们要进行网络请求，让目标给我们返回信息（常用的模块有http、http2、https、request、axios、puppeteer） 对返回来的数据的处理。（这部分可以随意发挥、正则等技术，而对于html文件的话，有 cheerio 模块（客户端的jQuery）、而返回来的数据可能有编码问题，iconv-lite 模块可以用于编码的转换，当然，请求时也可以直接设置response的编码）
爬虫之简单js逆向
小月牙
10-14 2万+
本次js逆向没有存在代码混淆，所以还是比较简单的，重要的就是js逆向的思路，目标网站https://notice.qb.com/detail?noticeId=215让我们开始吧 进入网站后按F12，查看DOC中的，可以看出该网页一部分内容是异步加载而成 继续在XHR中寻找，发现了第一个common中就有我们需要的内容 然后点到Headers看看它具体是有哪些请求参数,大概知道哪几个...
python 爬虫之js逆向爬虫详解
naer_chongya的博客
05-26 6591
JS逆向是一种分析反爬机制的行为，通过分析反爬机制如何加密、混淆和模拟JS代码的执行，使之能够成功处理并渲染网页。由于JS逆向的方式需要进行复制粘贴，因此开发过程中需要耗费一定的时间和精力。在Python上，我们可以使用Requests和Selenium等库来获取页面元素或模拟人类操作。Requests库是一种强大、简洁的HTTP请求库。而Selenium是一个自动化测试框架，用于模拟用户在浏览器中的操作。过程如下：使用Requests# 获取页面# 对页面进行解析# ...使用Selenium。
Android逆向分析入门：从反编译到Smali解析
"手把手教你逆向分析Android程序" 本文将深入探讨如何进行Android程序的逆向分析，通过实例展示如何利用各种工具揭示应用程序的工作原理，以及如何进行安全防护。首先，我们来看一下Android应用的基本结构，这对于...
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>