![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫进阶
文章平均质量分 52
包括app端爬虫,及hook,js逆向, Frida
小生听雨园
Fly Higher
展开
-
Vscode无环境联调
前言:看的志远大佬的视频用node执行vm2获得纯净v8环境联合浏览器调试工具devtools,避免很多检测点,搞了一晚上,我的环境可能有问题,一直跑不起来,还特意请教了志远大佬。具体操作安装vscode安装并汉化新建项目建一个空的文件夹拖到vscode写一个脚本文件添加配置差不多这样添加配置{ "type": "node", "request": "launch", "name": "无环境联调",原创 2021-09-07 08:11:35 · 1028 阅读 · 3 评论 -
某验跟踪w值(slide篇)
该js位于slide7.8.*那个js里面作用是滑动滑块提交轨迹,并返回是否通过验证快速定位到入口由于这里和上一篇位于fullpage里一样,就不再赘述具体定位过程了呦呵。 有没有感觉很熟悉是的,就是这简要分析var s = n[sKmJ(766)]();var u = ee[rndd(365)](me[sKmJ(57)](o), n[sKmJ(753)]());var _ = l[sKmJ(729)](u);w = _ + ss分析进入函数,发现,也是判断了时候有r解混淆一原创 2021-09-04 21:18:48 · 261 阅读 · 0 评论 -
某验追踪w值(fullpage篇)
文章只供技术交流使用,不放任何成品,如有侵害贵公司权益行为,联系我,立即予以删除前言:fullpage篇主要是位于ajax.php?包里面的w值大概是这样跟踪位置搜索w不太现实,跟踪堆栈吧从第一个开始,点进去,格式化,打断点重新运行,断下,再看看后面传的参数,发现没啥用,点到堆栈调用处发现s里面有w值,这个s应该是外界传进来的,找当前作用域里面,打断点,重新运行,再让他断住,继续跟堆栈,经过漫长的跟踪,找到了加密位置简要分析这个w由a+n组成,继续找a, n来源嫌疑代码抓原创 2021-09-01 21:09:49 · 318 阅读 · 0 评论 -
某验图片混淆算法还原
文章只供技术交流使用,不放任何成品,如有侵害贵公司权益行为,联系我,立即予以删除抓包先完整的抓一次包简单分析register-slide ---- 时间戳 ---- > 返回gt, challengegettype.php? ---- gt---- > 返回一串,包含各个js地址get.php? ---- gt, challenge, w ---- >返回一串json,里面有可疑数组,和s值/ajax.php? ---- gt, challenge, w原创 2021-08-30 22:43:23 · 2125 阅读 · 0 评论 -
jsdom, proxy对象(补环境神器)以及抠代码总结的问题
jsdomconst jsdom = require('jsdom')const {JSDOM} = jsdomconst fs = require('fs')options = { url : 'http://match.yuanrenxue.com/match/2', referrer: 'http://match.yuansrenxue.com/match/2', contentType: 'text/html',原创 2021-08-30 21:49:24 · 3183 阅读 · 0 评论 -
Node里window=this和global区别以及webpack
Node里window=this & window=global差别console.log(global)输出: <ref *1> Object [global] { global: [Circular *1], clearInterval: [Function: clearInterval], clearTimeout: [Function: clearTimeout], setInterval: [Function: se原创 2021-08-30 21:41:07 · 1191 阅读 · 0 评论 -
安卓逆向——frida安装及简单接口开发
1.Frida安装在github下载,github.com/frida/frida/releases然后add push (解压后得到的文件,单文件,重命名为frida-server)frida-server /data/local/tmpadd shellcd /data/local/tmpchmod 777 frida-server开启服务./frida-server另外开启一个cmd窗口,进入虚拟环境frida-ps -U验证是否成功,能打印出这些东西证明frida-server原创 2021-08-30 21:28:09 · 471 阅读 · 0 评论 -
夜神安卓7.1.2安装xposed踩坑(Could not load available ZIP files.Pull down to try again)
报错如图1.通用制作xposed目录解决办法(夜神模拟器见第二点)1.1下载xposedhttps://dl-xda.xposed.info/framework/下载对应的sdk,模拟器要下载x86的我是安卓7.1.2所以选择sdk25下载并解压,新建文件夹,命名为xposed,把才解压的文件夹里面的system目录放到新建的 xposed目录下,1.2.下载sh文件https://forum.xda-developers.com/attachments/script-txt.4489原创 2021-08-30 07:40:57 · 10481 阅读 · 38 评论 -
自写爬虫工具——transfer-headers
transfer-headers,转换请求头这两天趁有时间浅学了一下易语言,之前一直用python写工具,但python写启动软件慢,而且编译文件太大,易语言学的很浅,用中文写很不习惯,==因为经常做爬虫,经常要把请求头转换到python/代码里,每次做重复工作浪费时间,就自己写了这么个小工具,有的人会说,转换成、curl,但 比如fiddler不支持,并且有的站转换会出错,比如说Accept: */*Accept-Encoding: gzip, deflate, brAccept-La原创 2021-07-23 20:07:56 · 784 阅读 · 2 评论 -
中石化js逆向分析
网站链接:aHR0cHM6Ly9iaWRkaW5nLnNpbm9wZWMuY29tL3RwZnJvbnQveHhnZy8wMDQwMDEv目标:抓取十页数据1.抓包先是请求了url,然后请求接口,获取到列表数据看到cookie的几个参数比较可疑请求首页的表单数据只有一个那我请求其他页呢?这几个数比较可疑__EVENTARGUMENT: 表示要请求的页数MoreinfoListsearch1$Pager_input: 表示跳转之前的页数__VIEWSTATE: 应该是原创 2021-06-21 19:28:36 · 305 阅读 · 0 评论 -
爬虫js逆向基础——06常见开源代码破解方案
补充Nodejs` 里全局对象可重写,删除,而浏览器里面不行浏览器:delete window ->falsedelete document ->false而这个操作在`Nodejs`里可以执行1.obob混淆有众多参数,但是玩遍不离其宗结构如下:大数组数组移位(有内存泄露风险,建议不格式化)解密函数(有内存泄露风险,建议不格式化)可能有定时器,看加密开关开启数量实际代码加控制流平坦化,(整体ob的强度几乎完全取决于这段代码的强度,这里面是加密前的逻辑原创 2021-05-29 21:55:39 · 499 阅读 · 0 评论 -
爬虫js逆向基础——05`HOOK`
步骤寻找Hook点编写hook逻辑调试公式old_func = funcfunc = function(){ my task; return func.apply(argument)}// 修改原生的方法,伪装没有被hook,比如toString方法func.prototype······ = ······hook对象中的属性hook对象中的属性old_attr = obj.attrObject.defineProperty(obj, 'attr', {原创 2021-05-29 21:50:33 · 1474 阅读 · 2 评论 -
爬虫js逆向基础——04常见控制台干扰策略
无限debugger1.不可混淆debugger2.可混淆eval("debugger")涉及到字符串了3.可重度混淆 Function("debugger").call()/apply() 或赋值 bind() XXX.constructor("debugger").call("action") Function.constructor("debugger").call("action") (function() {return !![];}["constructor"]原创 2021-05-29 20:40:54 · 577 阅读 · 0 评论 -
超详细百度翻译js逆向(token 和 sign)
1.抓包看看需要什么参数选中的数据包有点可疑请求的url和post的参数并且返回了这个内容我们用fiddler抓包看到具体的设置cookies等过程第一次请求返回了一个setcookie,第二次请求带上了第一次返回的cookies,有两个有用的BAIDUID , FG其他的是浏览器设置的,不用理会刷新就知道了,只有sign和token两个参数是变化的,query是每次请求的字符串, langdetect是检测语言的,语言检测不用管,用python实现很容易2.分析sign全局原创 2021-05-16 15:18:49 · 3220 阅读 · 5 评论 -
超详细 某代刷网站js逆向
1.背景及简单分析插播恰饭广告:可以加我qq 2967615343随便打赏点,我把js代码和post服务器可用脚本,一起发你这几天想用Django写一个接口,但不知道写啥,写每天天气推送太俗,烂大街,我把目光放到了代刷平台,发现有的网站提交的时候有极验滑块,以我现在的js逆向能力还还原不了,然后找了几个不涉及极验滑块的代刷网站,大概是这个样子,我在经过抓包后发现这两个文件比较有用2.抓包第一次请求正常请求,会返回图示的json,但我用fiddler,就无法请求,会返回fiddler,随后原创 2021-05-10 19:19:19 · 1697 阅读 · 0 评论 -
js逆向——超简单(蜜罐攻击,内存爆破)定位方法
暂停法处理内存爆破这几天有时间一直在弄js逆向,抠代码var f = function () { var g = { 'data': { 'key': 'cookie', 'value': 'timeout' }, 'setCookie': function (k, l, m, n) { n = n || {};原创 2021-05-07 08:40:21 · 1460 阅读 · 0 评论 -
js逆向——获取时间戳(可混淆)
实例function _0x300acc(_0x186d2c) { return new Date()[$_0x4172('\x30\x78\x61\x63', '\x76\x65\x74\x64') + $_0x4172('\x30\x78\x61\x38', '\x54\x50\x66\x41') + '\x66'](); }这个可以获取到时间戳原因:下面这段代码是字符串“valueOf”,$_0x4172('\x30\x78\x61\x63', '\x76\x65\x原创 2021-05-07 08:14:52 · 478 阅读 · 0 评论 -
爬虫js逆向基础——03.常见非指纹`built-in`函数
常见非指纹`built-in`函数unescape:解码用法unescape('visit%20w3cschool%21') // ->visit w3cschool!Function:函数实例化方法var fun = new Function("a", "return a") //前面是形参,后面是返回的内容等价于function fun(a){ return a}eval:把字符串当做js代码执行,并且会执行一个虚拟机eval('alert("zx")')原创 2021-04-17 20:17:53 · 190 阅读 · 0 评论 -
爬虫js逆向基础——02.js混淆基础,this,箭头函数,原型链深入理解
js混淆基础,this,箭头函数,原型链深入理解node js里面,window对象是globaljs匿名函数:1.(function(){})() //这样在浏览器控制台输出的是自己的返回值2.!function(){}()//下面这三种极其罕见3.~function(){}()4.-function(){}()5.+function(){}()// 第二种极其常见// 公有属性和私有属性function Person(name){ // 公有属性 this.name =原创 2021-04-17 20:04:43 · 812 阅读 · 0 评论 -
爬虫js逆向基础——01.浏览器控制台
js逆向基础打dom断点,jquery移除dom元素:$(". ").remove()控制台一直打印的话,可以在控制台输入console.log = function(){}置空source 下点击overrides可以映射本地文件夹,返回看page页面,鼠标右键的四个选项变成了五个选项,点击最后一个save for overrides[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传点完之后,可以对source文件进行任意修改,ctrl + s保存,刷新页面就原创 2021-04-17 19:53:18 · 391 阅读 · 0 评论 -
fiddler无法抓到pycharm发的包
关于这个问题众说纷纭fiddler_proxies = {'http': 'http://127.0.0.1:8889', 'https': 'http://127.0.0.1:8889'}端口号别错了response = requests.post('', headers=headers, cookies=cookies, data=data, proxies=fiddler_proxies,verify=False)print(response.content.decode())注意pr原创 2021-04-11 20:46:29 · 835 阅读 · 0 评论 -
node js环境变量配置
先安装 nodejs一路默认下一步配置node与npm在安装目录下新建这两个文件夹,然后打开cmdnpm config set prefix "G:\webstorm\nodejs\node_clobal"npm config set cache "G:\webstorm\nodejs\node_cache"然后 输入npm root -g 这样返回就正常了配置环境变量1.看了好多其他博文 抄来抄去,环境变量全配的是node_global\node_modules,这样是不对原创 2021-04-11 13:45:54 · 97 阅读 · 0 评论 -
RunTimError:Timeout context manager should be used in task——python3.8爬虫异步asyncio趟坑
乍一看,全是运行时错误,RunTimError:Timeout context manager should be used in task# 异步抓取代码async def fetch(session, url, headers=None, timeout=10, binary=False): _headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML...原创 2021-04-05 22:07:32 · 1834 阅读 · 0 评论 -
ubuntu安装mysql没有提示配置账号密码
本文参考了文章打开debian.cnf文件,文件里有系统默认分配的账号密码。可以先用这个账号密码登录sudo vim /etc/mysql/debian.cnf一般都是这个文件,虽然你是ubuntu系统,一开始我还好奇来着,特意ls了一下/etc/mysql,还真有这个文件。一开始,天真的我直接修改这里面的 用户名和密码,结果根本登录不了。解决mysql -u debian-sys-maint -p回车粘贴原来的默认密码ALTER USER 'root'@'localhost' IDE原创 2021-04-04 12:16:21 · 373 阅读 · 0 评论 -
微信小程序爬能源相关题目
微信小程序爬虫1.安装fiddler或其他抓包软件1.1在tool options里面配置端口88891.2安装证书并且配置options2.安装逍遥模拟器2.1进bios里打开vt2.2选择手机2.3选择合适机型2.4安装微信3.安装证书以及代理3.1先进入小程序3.2打开设置3.3打开cmd输入ipconifg3.4清空fiddler4.开始抓包1.安装fiddler或其他抓包软件1.1在tool options里面配置端口88891.2安装证书并且配置options我选择的从所有进程,a原创 2021-02-28 14:53:45 · 786 阅读 · 7 评论