![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 71
.含笑.
人生是一团欲望,欲望不满足就痛苦,满足了就无聊。
展开
-
JS逆向加密——B 站弹幕 protobuf 分析
B 站弹幕 protobuf 数据分析原创 2022-07-22 15:29:35 · 1188 阅读 · 0 评论 -
JS逆向加密——某乎反爬x-zse-96
抓包分析这里用于学习分析某乎的搜索案例的加密参数找到请求的数据,多次抓包请求,对比请求的参数以及动态变化的参数,然后携带参数去模拟请求这里 主要是有个 x_zse_96 带带加密参数 需要我们去分析解密加密参数分析首先 浏览器全局搜索 加密的参数x-zse-96,会搜索出来 俩个位置,在这俩个位置都打上断点然后刷新网页,看会在哪个断点断下分析一下x-zse-96的由来和逻辑,截图和控制台有详解,最后再到 signature的地方 打上断点,进入函数里面是调试,看具体的加密逻辑这里的原创 2021-10-11 18:02:50 · 942 阅读 · 1 评论 -
安卓逆向——Ida 动态调试
Ida 动态调试本文的使用的IDA_Pro_v7.0_Portable 版本,下面介绍一下动态调试so文件的流程:1. 在IDA的安装路径中找到android_server文件# 查看手机型号 arm64-v8aadb shell getprop ro.product.cpu.abi2. 将android_server拷贝到手机的/data/local/tmp目录下面# 进入对应的文件夹,把文件push到手机adb push android_server64 ...原创 2021-04-22 14:49:48 · 553 阅读 · 0 评论 -
JS逆向加密——某条的参数加密之浏览器监测反推逻辑
NodeJS和浏览器区别-补环境总结1. 头条的案例 export,浏览器是没有的这个属性的,"undefined" != typeof exports ? exports : void 0 # Node : {}# 浏览器: undefined原创 2021-03-18 15:09:10 · 902 阅读 · 0 评论 -
安卓逆向——某宝APP抓包之环境对比 (一)
某宝APP抓包之环境对比 (一)环境一: Android 10 (lineage OS系统) magisk 22.1 (目前最新) edxposed(直接在magisk里面下载) 9.1.0 版本APP JustTrustMe模块 抓包问题:需要 登录,那就登录,登录之后出现滑块,淘宝的滑块你懂的,人是滑不过去的,无效 !!!有可以抓到包的 可以一起交流交流 环境二 : A...原创 2021-04-30 15:07:57 · 2291 阅读 · 2 评论 -
安卓逆向——dy急速版设备抓包分析
GET https://search.weixin.qq.com/cgi-bin/searchweb/wxindex/querywxindexgroup?query_sug_list=&group_query_sug_list=&group_query_list=%E7%8E%8B%E4%B8%80%E5%8D%9A&wxindex_query_list=%E7%8E%8B%E4%B8%80%E5%8D%9A&gid=&openid=ov4ns0M_3spfm_lRG原创 2021-06-15 16:03:24 · 2327 阅读 · 0 评论 -
抖音设备号注册
模拟设备信息无限量生成device_id和install_id原创 2021-06-13 17:08:45 · 4474 阅读 · 3 评论 -
JS逆向加密——某宝sign参数分析
某宝sign参数分析这里只做分析用途, 作为学习和交流 !!!!1. 抓包分析 (这里是店铺搜索来作为分析)多抓几次 包对比动态变化的参数 : page 页数 q 搜索关键字 t 时间戳 sign 加密 这是 主要地方分析的地方 callback 返回的类型 2. 参数加密分析sign重点分析一下 这个 sign 加密首先 全局搜索 sign 参数,找到 js的位置,打上断点 重新搜素一下,...原创 2021-05-19 11:56:40 · 929 阅读 · 1 评论 -
安卓逆向——某宝app抓取(jadx分析补充)
某宝app抓取(jadx分析补充)1. jadx 直接打开 搜索不到 核心的加密代码当 jadx 反编译,分析的时候 发现有大片黄色的伪代码的时候,就是jadx没反编译出来的,用 命令强制反编译jadx-gui --show-bad-code test.apk 2. jadx源码分析搜素 到 a3.get 进去后,看到 在 buildParams 方法,a3.get 的 a3 是由HashMap<String, String> a3 = l...原创 2021-04-26 17:40:21 · 1413 阅读 · 1 评论 -
安卓逆向——某宝app爬虫抓取
某宝app抓取环境 : app 9.1.0 hook 请求方式 fiddler Android 6(nexus 6P) 抓包 :原创 2021-04-25 15:27:02 · 1531 阅读 · 1 评论 -
JS逆向加密——某多多anti_content参数加密
某多参数加密Cookie里面 :pdd_vds JSESSIONID Params里面:pageflip anti_content多次测试发现,Cookie可以不携带,但是会频繁出现错误请求失败,所以还是主要分析Params的参数,page相信大家都懂的...原创 2021-03-29 10:09:46 · 2579 阅读 · 2 评论 -
安卓抓包——fiddler抓包直接下载某音数据
fiddler抓包直接下载某音数据准备好XP框架+JustTrustMe插件安装在模拟器(或真机)上面1. 打开 fiddler 抓包工具 在手机配置好代理(可能还需要 证书验证,后期补上) 2. 找到 修改的地方 然后 复制 下面的代码 在 fiddler 里面的 beforeReponse 修改代码//fiddler远程配置安装(不会配置的话加我Q:2908436596 if(oSession.full...原创 2021-03-28 09:00:29 · 634 阅读 · 0 评论 -
安卓逆向——抖音极速版爬虫
抖音急速版爬虫实验环境 操作系统: win10 mumu模拟器 安卓6 apk JustTrustMe fiddler 抓包 初步了解 信息,用 fiddler 看看请求,复制curl直接解析 代码请求,发现是可以请求的,可能是失效性的, 我们需要逆向参数,持续的获取 数据,动态生成参数 ...原创 2021-03-27 17:35:31 · 2316 阅读 · 1 评论 -
爬虫框架——Feapder入门创建项目
框架Feapder介绍 feapder是一款简单、快速、轻量级的爬虫框架。起名源于 fast、easy、air、pro、spider的缩写,以开发快速、抓取快速、使用简单、功能强大为宗旨,历时4年倾心打造。支持轻量爬虫、分布式爬虫、批次爬虫、爬虫集成,以及完善的爬虫报警机制。框架流程图模块说明:spider框架调度核心 parser_control模版控制器,负责调度parser collector任务收集器,负责从任务队里中批量取任务到内存,以减少爬虫对任务队...原创 2021-03-25 14:19:22 · 10457 阅读 · 7 评论 -
爬虫框架——Scrapy入门创建项目
Scrapy 介绍Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。 Scrapy 常应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 通常我们可以很简单的通过 Scrapy 框架实现一个爬虫,抓取指定网站的内容或图片。Scrapy架构图(绿线是数据流向) Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。 ...原创 2021-03-24 13:17:37 · 257 阅读 · 0 评论 -
JS逆向加密——补浏览器环境方式
补浏览器环境方式1,首先要说的肯定是 Proxy 了,直接上代码:window = new Proxy(global, { get: function (target, key, receiver) { console.log("window.get", key, target[key]); if (key=="location"){ location = new Proxy(target[key], { .原创 2021-03-23 08:50:00 · 3735 阅读 · 0 评论 -
小程序逆向——某书小程序反编译(二)
某书小程序反编译(二)结合上一篇反编译 ,到这里反编译后用微信开发者工具打开,发现并没有看到数据,还有很多请求失败,说的是Unauthorized 没有验证来分析 看看 错误的请求 发起JS请求的地方,看看JS的方法,注意到 _sendRequest 和 request 方法,跳进去看看,搜索Unauthorized 参数找到 报错参数位置的地方,跳进去把 值打印 出来,发现没有值,然后我们去 用 抓包工具fiddler 抓到正常请求数据看看请求的参数,对比一下...原创 2021-03-22 23:20:04 · 659 阅读 · 4 评论 -
小程序逆向——某书小程序反编译(一)
某书小程序反编译实验环境 操作系统: win10 node : v12.18.3 微信开发者工具:Stable 1.05.2102010 前置准备 需要安装pc端模拟器工具可以选择网易MuMu,或者其它模拟器 模拟器设置中配置共享文件夹 下载反编译工具 模拟器内软件安装 RE文件管理器(获取root权限,查看小程序压缩包) 微信(使用微信打开小程序以下载小程序包) 获取小程序包1.使用自己手机上的微信打开...原创 2021-03-22 22:24:49 · 2363 阅读 · 4 评论 -
JS逆向加密——某条_signature参数加密
网址 某条网址请求分析多次请求查看,查看请求的信息和对比参数,主要有俩个参数 min_behot_time 和_signature 会发生变化1. min_behot_time 参数 多发现对比请求 发现就是上一次请求的 返回值里面的时间2._signature 参数 才是主要分析的加密参数首先 全局搜索_signature 参数,进入JS文件找到_signature 的地方,打下断点,刷新网页或翻页,断点会断在这个位置,也可以看到加密后的值_signature ...原创 2021-03-17 11:18:06 · 2304 阅读 · 8 评论 -
JS逆向加密——某物sign参数加密
网址 某鞋网址这个网址是从APP分享出来的,能分享出来打开证明有h5的页面就通过h5的页面来抓取数据打开网址开发者工具分析,找到对应的请求数据,请求分析多请求几次数据,对比一下翻页的效果的参数一哪些变化,1. lastId 每次请求时 是不一样的2. sign 参数是加密后的结果,每次请求也是不一样接下来就是分析这俩个加密的参数和变化逻辑这里 注意观察,上一次请求返回的 lastId 数据就是 下次 请求的参数,在多试几次你会发现,每页的请求参数都是固定的...原创 2021-03-15 12:08:39 · 1561 阅读 · 4 评论 -
JS逆向加密——字符串的转换
Uint8Array转字符串 function Uint8ArrayToString(fileData){ var dataString = ""; for (var i = 0; i < fileData.length; i++) { dataString += String.fromCharCode(fileData[i]); } return dataString} 字符串转Uint8Array function stringTo...原创 2021-03-10 22:22:05 · 515 阅读 · 0 评论 -
JS逆向加密——七麦网analysis参数
七麦网analysis参数加密本文用于学习交流使用,如有侵权,联系删除七麦网址https://www.qimai.cn/rank原创 2021-03-10 09:12:17 · 1160 阅读 · 2 评论 -
猿人学题库十三题——动态css字体加密
猿人学题库十三题——动态css字体加密1. 首先 进入 浏览器的开发者工具, 在 xhr 可以看到 ajax请求数据接口,返回的数据有一个 woff 键,这里就是 woff的base64格式 请求获取 数据后 把 woff键的值 base64解码 保存为tff文件格式2. 解析 woff 文件保存 tff 格式后,用 from fontTools.ttLib import TTFont 读取,在解析的过程可以先 保存为 xml 格式,查看数据每次...原创 2021-03-09 09:27:37 · 754 阅读 · 0 评论 -
JS逆向加密——点评店铺woff字体加密(一)
点评店铺woff字体加密(一)网址 :http://www.dianping.com/shanghai/ch10/g110网页的问题和 数字也用了字体加密,用的是 woff 文件字体格式 ,woff文件名 每天会变化是动态的,也需要从HTML通过css获取引用的css用百度字体编辑器打开看看,...原创 2021-03-05 11:52:11 · 1004 阅读 · 0 评论 -
JS逆向加密——点评店铺Svg字体加密(二)
点评店铺Svg字体加密(二)网址 :http://www.dianping.com/shop/F4nE08K09Ptc47y4在网页显示的时候是通过svg图片的内容,通过css的x和y的布局去映射的显示正确的文字这个网页有不同的svg图片 进行映射,数字有数字的svg文件,文字有文字的svg文件,svg文件格式还是会变化的,有俩种格式Svg的来源找到svg文件,点击进入css文件,在css文件中可以找到3个svg文件,目前这个页面用到了俩个svg文件映射,一个电话一个是评论.原创 2021-03-05 11:18:00 · 620 阅读 · 1 评论 -
JS逆向加密——点评店铺详情_token参数(三)
点评店铺详情_token参数网址 :http://www.dianping.com/shop/F4nE08K09Ptc47y4 这个和 美团是一样的 token加密可以在请求地址 找到allReview 的请求链接,请求参数有多个,但是多次请求对比发现只有 token 参数是变化的这些请求都xhr的,也都有token参数,走的是同一个逻辑注意点:这个token不是监测的,是时间过期的 后面测试发送,参数也是随便给的,后端没有判断现在来分析 _token 参数...原创 2021-03-04 15:21:57 · 984 阅读 · 1 评论 -
JS逆向加密——美团店铺详情_token参数
美团店铺详情_token参数网址 :https://sh.meituan.com/meishi/c17/可以在请求地址 找到getPoiList 的请求链接,请求参数有多个,但是多次请求对比发现只有 token 参数是变化的 现在来分析 _token 参数看到getPoiList 请求是 xhr 的ajax发起的请求,我们可以直接在浏览器打上 xhr 的断点,刷新页面会直接断下 断在 JS 后,查看浏览器的调用栈,精准的找到 发起...原创 2021-03-04 11:21:14 · 2441 阅读 · 5 评论 -
猿人学题库第九题——更复杂的动态js加密——日常采坑
猿人学题库第九题——更复杂的动态js加密1. 首先 进入 浏览器的开发者工具,打开就是 无限debugger,这次不能用never pause here 过无线debugger,后面发现无法调试,直至卡死点击 调用栈 ,查看JS 文件,一看很多 'x73\x75\x52' 这些编码字符串,先用 ob反混淆工具 得到 易读的JS(注意把 script 标签去掉)复制 解混淆 后JS代码后,可以直接 搜索到 sign 参数,接下了就打断点调试了2. 调试JS代码...原创 2021-01-11 21:40:24 · 1319 阅读 · 1 评论 -
安卓逆向——frida-serve脱壳案例
安卓逆向——frida-serve脱壳案例一、原理1. -->APP启动 2. -->壳dex先加载起来 3. -->壳负责把源dex文件读出来 4. -->壳把源dex文件解密 5. -->把解密后的dex加载进内存 源dex运行起来所以在APP启动时,把源dex加载到内存的方法,修改加载的方法,把加载dex的内容保存下来,就是源apk的dex。安卓系统是调用底层的so文件,把dex读取到内存中,在系统中的 /system/lib/libart.原创 2021-01-10 15:06:47 · 977 阅读 · 1 评论 -
猿人学题库第十题题——请求规律检测2 - headers
猿人学题库第十题题——请求规律检测2 - headers1. 首先 进入 浏览器的开发者工具,可以在 network 的XHR 请求看到数据,把 Headers的 请求参数和顺序保证一致,全部带上,模拟请求可以得到数据少一个参数就会返回其他的无效内容总结 :这题主要就是看Headers的参数和顺序,所有我们的每次请求最好和请求的参数保持全部一致再去模拟请求,免得去找其他的问题。 ...原创 2021-01-04 20:28:29 · 1118 阅读 · 0 评论 -
JS逆向加密——Python执行JS代码的常用2种方式
JS逆向加密:Python执行JS代码的常用2种方式个人觉得 node的方式最后用,写到第一种了,可以解决很多依赖问题和环境问题1. Node.js实际上是使用 Python 的os.popen执行 node 命令,执行 JS 脚本时,只能打印出来,读取打印的结果 首先,确保本地已经安装了 Node.js 环境 修改 JS 脚本,新增一个导出函数 init ,方便内部函数被调用// js 文件代码//计算两个数的和function add(num1, num2) {...原创 2021-01-02 17:47:50 · 1194 阅读 · 3 评论 -
JS逆向加密——Base64方法的处理
JS逆向加密 Base64方法的处理:在Js逆向的过程中经常遇到 window.btoa() /window.atob() : 这是 浏览器内置的Base64 编码和解码 ,第十六题案例,第十九题案例 等等解决方式 :1. 简单字符串使用 Buffer 方法// atob base64 编码var s = new Buffer.from("待解码的字符串", "base64").toString("binary")// btoa base64 解码va...原创 2021-01-02 17:27:20 · 1538 阅读 · 4 评论 -
猿人学题库十六题——js加密_表情包+sojson6.0——满天坑
猿人学题库十四题——js加密_表情包+sojson6.01. 首先 进入 浏览器的开发者工具,进去后首先还是 无线debug ,找到 debugg 对应的行数,右击选择 never pause here ,刷新 就不会再此处 停下了进去后找逻辑请求的规律参数,多请求几次,发现 只要 safe 参数在变化,下一步我们就分析 这个参数2. 解析请求参数safe 参数分析,找到 JS 的地方 ,在 进去 JS 代码后,发现 在 ajax请求之前 执行了 一段颜文字代码...原创 2021-01-02 17:06:20 · 1672 阅读 · 2 评论 -
猿人学题库十九题——css加密-雪碧图/数据干扰等——地毯式采坑学习
猿人学题库十四题——css加密-雪碧图/数据干扰等1. 首先 进入 浏览器的开发者工具,打开就是 俩个无线debugg,正常的操作过掉1. 找到 debugg 对应的行数,右击选择 never pause here ,刷新 就不会再此处 停下了虽然 这样过掉了,但是你会 发现 特别异常的卡,(我怀疑浏览器卡关闭重开,电脑卡了重启发现还是一样的),这样根本不好调试 代码,就无法找到 js 的逻辑,(后来发现 虽然用 never pause here过了,但这不是真真的跳过de...原创 2020-12-30 15:22:55 · 35031 阅读 · 4 评论 -
JS逆向加密——fiddler中间人攻击修改返回数据
fiddler 中间人攻击 修改返回数据用fiddler修改数据,可以在不改变源代码的情况下调试请求。1. 打开 fiddler 工具2. 保存到文件保存文件的时候 最好变成 html ,因为请求的数据返回是hml,浏览器才会解析。(就是 返回什么数据格式,就保存什么数据格式)3. 修改返回数据点击请求,在右边可以看到请求信息,我用了fiddler汉化,就是自动转发,英文版 AutoResponse在选择 开始保存的文件就好了,再次请求,fidd...原创 2020-12-29 23:07:36 · 1424 阅读 · 0 评论 -
猿人学题库十四题——js_fuck核心代码加密
猿人学题库十四题——js_fuck核心代码加密1. 首先 进入 浏览器的开发者工具,查看 网页Network的请求,多点击几次,查看请求的参数变化,可以看到 就俩个参数 page: 页数 uc: 加密的参数 (每次请求都是不一样的) POST 请求,返回数据是对应的上的2. 解析请求参数想找到请求的JS函数,可以在 请求的Initator栏目里面的找到 js 方法行数点击跳转进去后,可以看到[][(![]+[])[!+[]+!![]+!...原创 2021-01-02 17:52:37 · 1093 阅读 · 0 评论 -
安卓逆向——某力播逆向分析(脱壳)
安卓逆向——某力播逆向分析(脱壳)一、环境这一步真的头疼,环境很重要,各种测试,一下是我测试的环境,由于没有真机,就拿虚拟机做测试1. Xposed 2.FDex2 3. fiddler 4. 软件二、抓包通过 fiddler 抓包分析参数可以看到,俩次请求的参数, udid 是一样,可以不用变,timestamp 应该是个时间戳,signature 可以经过某种变化的,也是主要分析的三、脱壳1、查看加固首先对...原创 2020-12-21 21:35:40 · 1458 阅读 · 3 评论 -
猿人学题库十二题——静态css字体加密
猿人学题库十二题——静态css字体加密1. 首先 进入 浏览器的开发者工具,查看 网页上的 数字,这是都什么玩意, ,在看看返回的数据 "    " 又是什么东西看到请求返回的数据也是看不懂的,那就不是js转变或加密了。就应该想到 css 字体上去了,看到 右边的font-family: "fonteditor" !important; css设置,进去看到/static...原创 2021-01-02 17:53:05 · 840 阅读 · 1 评论 -
猿人学题库十一题——人均会解js——采坑式学习
猿人学题库十一题——人均会解jsl1. 首先 进入 浏览器的开发者工具,在 Network 找到 对应的请求,在Response中查看返回的内容(这里注意 一下,会找到俩个challenge/11的请求)2. 模拟请求数据 再次用postman模拟请求,显示要登陆在 请求的Header信息里面 cookie直接复制,或者在 浏览器的 Application 里面的cookie栏,复制 seesionid 参数携带后在请求(这里可以看到 Expires...原创 2020-12-29 17:02:42 · 1665 阅读 · 2 评论 -
猿人学题库第八题——控制台呼出检测-骚操作
猿人学题库第八题——控制台呼出检测-骚操作1. 首先 进入 浏览器的开发者工具,一打开就跳转了,白茫茫一篇1.1 自己打断断下来 第二题的 scipt 断点调试到 页面搜索 windows ,可以看到几个地方,在打几个断点 调试在 控制台 复制 粘贴 打印结果,手动输入有 监测,监测输入 就跳转了。总结 :这题 其实比较简单就是 看你了不了解开发者工具的使用,打断点卡住,调试打印就好了。[分享] 猿人学·爬虫逆向高阶课 ...原创 2021-01-02 17:53:16 · 912 阅读 · 0 评论