李玺

通过webmsxywx生成的x-s分析

tiktok web版的 _wafchallengeid参数。

想定时记录一下网易云的听歌排行，发现接口有两个加密参数params和encSecKey，作以分析记录。

某书x-s和web_session学习分析

知乎x-zse-96，做一下分析和记录

本文内容对华尔街日报请求进行分析和对页面中的数据加密进行解析

以Today‘s web页面搜索为例，通过RPC的逻辑实现数据采集。

spolicy平台列表页、搜索页和详情页的模拟请求。

twitter的推文案例

qizhidao的请求参数分析

对html中AES加密的内容还原。

产业政策大数据平台政策类型的请求案例。

案例内容以在googleMap上搜索餐厅信息为例。

对贝壳网webpack代码中的password参数分析

ctbpsp网响应数据的DES解密案例。

gov-pkulaw的滑块还原和协议校验。

wss协议的RPC的入口点并进行RPC调用。

srb网页版新版timestamp2分析。

文章内容：万方专利详情页的protobuf请求和解析。

本文案例内容是对36氪cookies中的acw_sc__v2参数分析和还原。

ontariogenomics网动态cookie案例。

empecs网爬虫案例，简单的动态cookie案例。

ontariogenomics的爬虫案例。

本文案例内容没有难度，只是简单的分析。 由于人民网web上搜索接口风控检测严格，很容易封IP，所以把目标转到了APP上。

本文案例主要分析七麦数据榜单中的analysis参数。

本文是CNVD漏洞共享平台的爬虫案例，该网站采用了JSL的主题混淆和加密。

福建省公共资源交易电子公共服务平台-响应内容的AES解密分析。有群友在问这个网站数据的加密类型，我分析了一下该网站的数据加密，正好写一篇案例。案例网址：https://ggzyfw.fj.gov.cn/文章目录逻辑分析Base64解密AES解密Python实现交流群注意：付费订阅的是整个《爬虫逆向合集》专栏，不是单篇文章！声明：文章内容仅供参考学习，如有侵权请联系作者进行删除逻辑分析一般看到响应加密，我会根据经验直接搜解密关键词： decrypt断点，触发请求。果然是这里，定位无

小红书PC网页版，请求需要携带cookie。

今天看到社区中的同学在问，天津公共资源交易网详情页的URL加密逻辑。社区问答地址： https://bbs.csdn.net/topics/600494031文章目录调试逻辑页面Js代码Js调用代码调试逻辑网站列表页URL：http://ggzy.zwfwb.tj.gov.cn/queryContent-jyxx.jspx?抓包看了一下，列表页的url在访问详情页时会进行加密，简单的静态搜索没有找到有用的生成逻辑。通过DOM事件监听也没有找到有用的生成逻辑。因为这个加密是在点击之后触发

本案例以土地市场为例，其实网站采集难度不大，但是一些细节值得学习。链接：https://www.landchina.com/default.aspx?tabid=263文章目录抓包分析参数定位模拟请求地区ID获取抓包分析POST接口：https://www.landchina.com/default.aspx?tabid=263Requests-headers中没有动态参数。Formdata中看起来也没有动态参数。不过有一个参数是 (unable to decode value)也就是

本案例是基于RPC的抖音web直播数据采集。文章内容仅供参考学习，如有侵权请联系作者进行删除可采集内容和页面呈现内容相同，包括用户评论、关注、谁来了、送礼物等数据。抖音web直播数据采集接口分析文件覆盖RPC调用运行源码运行示例交流群RPC（Remote Procedure Call）是远程调用的意思。在Js逆向时，我们本地可以和浏览器以服务端和客户端的形式通过websocket协议进行RPC通信，这样可以直接调用浏览器中的一些函数方法，不必去在意函数具体的执行逻辑，可以省去大量的逆向调试

本案例是新版 web of science (wos) 详情页的流程分析和采集方法。文章内容仅供参考学习，如有侵权请联系作者进行删除订阅的是整个专栏《爬虫案例合集》。网站链接：https://www.webofscience.com/wos/woscc/basic-search文章目录流程分析采集源码返回示例备注记录2021/08/05流程分析刚开始看详情页时，控制台抓包找了两遍搜不到数据，也未见加密数据。后来查看了一下页面中的Js，才发现是用了wss协议。刷新页面，点击WS

通过RPC获取微博web登陆参数参数分析覆盖文件RPC调用RPC（Remote Procedure Call）是远程调用的意思。在Js逆向时，我们本地可以和浏览器以服务端和客户端的形式通过websocket协议进行RPC通信，这样可以直接调用浏览器中的一些函数方法，不必去在意函数具体的执行逻辑，可以省去大量的逆向调试时间。在RPC中，发出请求的程序是客户端，而提供服务的程序是服务端，所以我们的浏览器需要是客户端，本地需要是服务端。本文案例以新浪微博网页版的登陆为例，来讲解一下如何在web上使用RP

本文案例采集行行查网站的研究报告、城市精选、产业图谱等数据网站链接：https://www.hanghangcha.com本文内容仅供技术学习参考，如有侵权请联系作者删除。文章目录采集风险解密逻辑AES解密代码示例采集风险该网站需要通过微信扫码并绑定手机号进行登录，而且不开会员只能查看小部分数据。我搞了10个号，通过小程序拉新开通了会员，采集了一段时间后都被封了。封禁状态：账号无法进行登录封禁策略：请求1次/ 2-5秒 ，采集三小时后被封我感觉和脉脉一样，有专用的风控系统在定时进行爬虫

本篇案例内容是采集新榜榜单数据。包括微信榜、微博榜、抖音榜、快手榜、bilibili榜、资讯等。网站链接：https://www.newrank.cn/public/info/list.html?period=day&type=data文章目录流程分析Js示例采集示例完整代码流程分析通过控制台抓包查看接口formdata中有两个加密参数通过ctrl+F全局搜索nonce和xyz关键字。adow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaX

收到 Issues ， 库中的代码不能使用了，看起来是接口的协议更新后使用了protobuf。

抖音分享页、用户视频数据的signature可看：https://blog.csdn.net/weixin_43582101/article/details/114291365本篇内容是分析火山视频分享页的signature，火山sign跟去年的抖音share的sign很像。火山分享页链接： https://share.huoshan.com/pages/user/index.html?to_user_id=xxx火山signature签名分析生成代码通过抓包可看到两个数据接口，都带有sign

基于http协议的抓包工具并不能捕获到数据。于是我刚开始用 frida 的 r0capture 脚本试了下，发现加载的数据中视频是http协议，其他的是自定义的，所以想要解码抓包还需要通过其他方法。本文主要内容：采用frida去hook掉Spdy协议实现数据抓包。原文链接：案例环境：夜神模拟器 （安卓7）Frida (安装教程)闲鱼（6.8.5，模拟器推荐版本）Android Killer （2.5的apktools）httpCanary 安卓抓包工具我这里因为模拟器和闲鱼app兼容

做了一个简单的Twitter数据案例，采集用户的基本信息和发布的推文。代码上传到案例仓库中了： https://github.com/lixi5338619/lxSpider正文内容：观察了一下接口，推文列表数据在 “https://twitter.com/i/api/2/timeline/profile/1194464827839631360.json?” 的Api中需要注意只有 1194464827839631360这个ID，然后在控制台 ctrl+F搜索这个ID，发现在 '

免责声明：本文所展示的内容皆以学习研究为目的, 切勿利用于商用、切勿滥用。若因使用本文内容与某音官方造成不必要的纠纷，本人概不负责。下文为python代码。请求参数headers中的 sessionid 和 xtttoken 可以抓包获得，以供于测试。请求链接中的参数也可以抓包获取，比如设备id、iid，建议更换为自己的# -*- coding: utf-8 -*-import hashlibimport timebyteStr64 ="D6 28 3B 71 70 76 B