某建筑市场爬虫数据采集逆向分析

已于 2024-09-19 13:20:32 修改
阅读量826 收藏 5
点赞数 7
分类专栏： 爬虫 文章标签： 爬虫
于 2024-09-19 13:19:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WpfJya/article/details/142357580
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

前言

目标网站

aHR0cHM6Ly9qenNjLm1vaHVyZC5nb3YuY24vZGF0YS9jb21wYW55P2NvbXBsZXhuYW1lPSVFNiVCMCVCNA==

提示：以下是本篇文章正文内容，下面案例可供参考

一、抓包分析

很明显是返回数据加密了

二、逆向分析

下xhr断点

向下跟栈，直到返回数据生成

向下跟栈，发现是通过b方法进行解密的

发现是个AES加解密

本地python代码模拟，或者拷贝调用js都行

总结

文章仅提供技术分享交流，不可对目标网站造成伤害

WpfJya
关注
专栏目录
Python逆向爬虫案例: 某网站AES逆向解密
2301_76201613的博客
11-13 1024
win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源)抓包分析 -> 通过浏览器自带开发者工具进行抓包 普通网站数据采集 --> 参数变化 去搜索参数在什么地方。既然参数数据/数据加密 --> 分析参数如何生成的。调用js代码里面的函数内容 -> 获取kiv值。
这也敢爬，你离牢饭不远了，爬虫逆向实战案例
喜欢Python编程的程序员柚柚呀
01-11 1878
这也敢爬，你离牢饭不远了，爬虫逆向实战案例
抖音直播弹幕数据逆向：websocket和JS注入
weixin_52392194的博客
07-25 2605
首先，我们通过抓包工具进入某音的直播间，捕获其网络通信数据，重点关注WebSocket连接。发现直播弹幕数据通过WebSocket传输，这种方式比传统的HTTP更适合实时数据的传输。我们在浏览器开发者工具中打开WebSocket的堆栈调试，分析数据传输的过程，定位关键的JavaScript代码。在JavaScript文件中搜索“.decode”，找到第一个搜索结果并仔细观察，这是解密二进制数据的关键位置。在找到弹幕数据传输的位置后，我们可以开始植入自定义的JavaScript代码，以捕获并解密弹幕数据。
Py爬虫之 js逆向实战：某案例
记录开发和安全学习过程中的点点滴滴
04-19 1862
在渗透学习的过程中,我们在测试未收权访问中,包括我们进行fuzz,都是需要获取js文件中的接口,然后进行进一步利用的,当然说这么多的根本原因是,越来越发现网络安全是一个全栈的学习路线,需要学习各种各样的知识,来提高自己的挖掘和利用能力,于是有了今天的这篇文章.
爬虫案例：建设库JS逆向
unravel_tom的博客
06-11 1795
这里我发现一个好用的小技巧，使用单步调试，从断点开始出发查看经过的函数基本都是我们所需的js代码，途中会跳转到其他的js文件（webpack）然后回来就可一看见MD5加密的算法了。像Math.sign这种是js的数学库文件，可以直接排除，就10几个，慢慢排查，使用断点调试。进行页面切换，抓去Ajax，发现page里面的response携带这我们所需要的数据。这里就是目标，注意这里使用了js的逗号表达式，想要查看结果悬浮，或者在控制台中查看，靠经验，运气，猜测，分析代码，观察数据，调试代码，逆向分析，等等。
python爬虫-逆向实例小记-2
记事本
06-26 1352
加密解密鄙人能力有限仅在js 文件中测试出来结果未能将其改写成python。
【JS 逆向案例】建筑市场监管平台企业数据爬虫
weixin_67745442的博客
12-28 518
【JS 逆向案例】建筑市场监管平台企业数据爬虫
物流前沿理论与方法1
weixin_44215437的博客
12-21 7379
自动识别与射频技术
文献助手
韩梦飞沙S_韩亚飞 的博客
10-06 1700
强生医药文献助手 文献入库／解析／搜索 PDF OCR 标题／作者／时间／科目／专业／关键词／摘要／原文   解析 关键词提取 中文分词／  摘要。自动生成摘要。 归类。    科目／专业   搜索 排序。置顶。标注。 --- Architecture 英[ˈɑ:kɪtektʃə(r)]  奥剋忒客车。 美[ˈɑ:rkɪtektʃə(r)] n. 体系结构;...
安全术语扫盲
热门推荐
_南寻_的博客
02-09 1万+
行业术语扫盲 肉鸡 所谓“肉鸡”是一种很形象的比喻，比喻那些可以随意被我们控制的电脑，对方可以是WINDOWS系统，也可以是UNIX/LINUX系统，可以是普通的个人电脑，也可以是大型的服务器，我们可以像操作自己的电脑那样来操作它们，而不被对方发觉。 木马 木马就是表面上伪装成了正常的程序，但是当这些程序运行时，就会获取系统的整个控制权限。有很多黑客就是热衷于使用木马程序来控制别人的电脑，比如灰鸽子，黑洞，PcShare等等 远控 远程控制，是在网络上由一台电脑（主控端Remote/客户端）远距
Python爬虫之Js逆向案例(13)-某乎最新x-zse-96的rpc方案后续
玛卡`三少 的博客
11-02 2342
jsrpc的原理是利用websocket通信技术实现的通过调用socket服务，通知放在浏览器端的socket执行相关代码，拿到结果后客户端发送给服务器，然后再返回给接口调用者技术（个人理解，不一定很准确），说白了就是websocket的具体应用罢了！
Python爬虫之Js逆向案例(6)-某道翻译
玛卡`三少 的博客
08-09 1018
大家好，举例上次分享js逆向案例已经有一个月了，在这期间每次在快要揭秘出来时、整理文章的时发现某乎的加密又又又更新了、、、，导致近期长时间没有更新文章了。同时也收到了很多童鞋的催更，这里说一下哈，并不是我忘记了，或者懈怠了，只是一直在从头逆向某乎而已、、、为了继续更新逆向100例，我决定先暂停某乎的文章输出，等稳定了在案例一下，不然今天扣的代码明天又不能用了、、、，还是先分享其他平台的案例吧，这里就不多说了哈！！！今天的案例对象是，如果有同学想做一个类似划词翻译的浏览器插件的，或者开发一个vscode。..
Python 爬虫逆向破解案例实战 (三)：凡科网逆向之闭包技巧
Amo Xiang的博客
12-14 1209
目录1. 凡科网逆向分析2. 代码实现3. 总结 1. 凡科网逆向分析 点击 此处 进入到 凡科网 的主页面，在键盘中按下 <Fl2> 快捷键或者是鼠标右键单击选择 检查(inspect)，打开浏览器开发者工具 (这里使用谷歌浏览器)，然后在顶部导航条中选择 Network 选项，又由于登录一般都是使用的 ajax 请求，所以接着我们单击下方的 XHR，在这些准备工作都做好之后，我们就可以点击页面中的 登录 按钮，监听请求的 URL，如下图所示： 我们在全局当中对 pwd = 进行搜索，如下
Python爬虫之Js逆向案例(12)-知乎答案批量获取保存到CSV文件
玛卡`三少 的博客
10-30 929
大家好，本期分享的内容是一个关于批量获取知乎答案的案例，本案例的重点是教大家在写爬虫时如何更规范的去编写自己的爬虫。场景是这样的，最近在帮一位同学排查几个爬虫问题，于是乎我三生有幸看到了这位工作几年的老哥写的爬虫代码，中间过程我就省略了，一句话总结就是：写的代码很好，下次不许再写了！！！至少以后别再让我给你排查bug了、、、那个痛苦的过程，给你排查bug差点让我改行、、、；所以本次用批量爬取知乎问题的答案为案例来简单介绍一下我是如何编写一个爬虫的，以至于让我排查问题时如此高效！！！
某点数据 爬虫逆向webpack
WpfJya的博客
09-02 775
某点数据爬虫逆向
【实战案例】这种python反爬虫手段有点意思，看我怎么P解
04-28 433
这种反爬虫手段被广泛应用在一线互联网企业的产品中，例如汽车资讯类网站、小说类网站等文字密度较大的站点。在开始学习之前，我们先来看看具体的现象。打开网址： https://implicit-style-css_0.crawler-lab.com 呈现在我们眼前的是这样一个界面： 这次的任务，就是拿到页面上所呈现的内容的文本。在编写爬虫代码之前，我们要做几件事： 确定目标内容的来源，也就是找到...
GitHub：记录一些JS逆向和爬虫
追心
08-21 437
hello， 大家好，由于最近在找工作的原因，好久没有写博文了，最近刚刚入职，把以前落下的功课给补上，好了，废话不多说，今天给大家分享的开源项目是：JSpider，这个开源项目适合新手入门练习，写好的案例，包含但不仅限于大小厂网站，可能有你工作中遇到的，感兴趣的小伙伴可以了解一下 以上就是改项目的全部内容了，后期大家感兴趣的话可以加我微信好友，我给大家找一些比较适合新手入门的js逆向或者自己写一些东西给大家分享，peace(手动狗头) 开源地址：https://github.com/EnjoyScrap
爬虫 — Js 逆向案例三凡科网登录
GitHub质检员
10-10 676
目标网站：https://i.fkw.com/?_ta=3需求：找到密码加密的过程，进行加密1、抓到向服务器发请求的数据包，输入错误的账号和密码测试密码可以输入123456，如果发现加密后的密码为 e10adc3949ba59abbe56e057f20f883e，就可以确定加密方式为 md5。2、确定加密方式为 md5 后，可直接搜索 md5 后，将相关 js 代码直接复制下来3、将相关代码复制下来。
某东h5st 4.8逆向
最新发布
Duke_LH的博客
09-20 545
最开始扒的时候版本号还是4.1，现在已经到了4.8了，原来的AES也没有了，现在都是魔改的加密方法，还整成了vmp。跟了一下整个流程，和原来的流程大差不差，h5st变长了，一共分9部分。注意一点就是里面用到的那些大数组不要在定义的地方去复制，要在调用的时候去复制，有些中间做了变动。对于这个参数可以写死，里面随机字符串生成方法直接用的4.1版本的代码。，和上面一样调用魔改的SHA256，加密参数也是两边是。，调用魔改的SHA256，传参和4.1版本的。第一段，日期格式化，直接用原来的代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值