js爬虫
文章平均质量分 87
# js爬虫
夜猫逐梦
2022,希望在CSDN上总结并分享一个14年老二次猿的职业生涯。
大二开始有了自己的电脑。
大三参加ACM。
大四组建ACM社团,第一批报名就超过百人。
大四上学期末(10年底)开始北漂,毕业后入职北京瑞星,后又就职于搜狐畅游,从事反外挂相关业务。
15年开始了半年的沿海旅游,之后又是半年的“自由职业”。
之后从事游戏相关行业逆向开发至今。
逆向,网络安全,全栈,啥都会点,算个技术控吧。
记录并分享知识和经验,结交有志之士,共同进步。
展开
-
【微信】【Windows端】开启2024最新版微信小程序Devtools调试窗口
通过上面的操作,我们可以打开DevTools界面,但是该界面中只有三个标签,这是因为微信当检查的是小程序的时候,启动的是自己定制的DevTools。x64dbg目录下,会将断点、注释等各种信息保存下来,方便下次继续使用,但是随着版本变更,这些配置文件会错乱,导致各种异常,删掉他们,重试。如果上述都有问题,就只能想办法过反调试了,x64dbg本身提供了很多工具,自己也可以写插件尝试。将该串拿出来,格式化后,查看到有两个可疑值,修改为true。总之,微信是通过不同的地址,打开不同的DevTools的。原创 2024-03-08 17:36:56 · 6621 阅读 · 8 评论 -
【微信】【Windows端】开启2024最新版微信内置浏览器Devtools调试窗口
我们只需要将页面拖拽出来,变成多个窗口,然后打开调试窗口就可以了。在上面的图片中,显示了一个窗口,该窗口有两个页面。当打开任意一个页面的调试窗口后,我们无法打开另一个。》,虽然能够正常使用,但是保不准啥时候腾讯关闭了这个通道就失效了。在微信中,任意地方打开一个网页(图示为订阅号页面中点开的);菜单,即可打开调试窗口(导读中的那个Devtools图片)。关键字`xweb-enable-inspect`这个是搜了很多文章,一个个试出来的,就这个好用。针对微信,使用了很多技术,这里简单的说下。原创 2024-03-08 14:42:53 · 12675 阅读 · 4 评论 -
【微信】实战Adnroid上的小程序调试
为了解决这个问题,我们需要采用最新的 XWeb 内核调试方法来执行 JavaScript 代码。如今小程序得到了越来越广泛的应用,针对小程序的分析需求也越来越多。小程序作为前端开发的一个产品形态,必然绕不过Chrome浏览器相关技巧,如果能打开其调试界面,也就离成功不远了。随着微信版本不断的迭代更新,微信要求必须使用新版本才能登录,导致小编只能借其它博客的图片介绍了。选择上面打开的网页,点击其左下角的 “inspect”,打开调试窗口。这篇文章介绍了如何使用微信的XWeb内核和X5内核调试功能。原创 2024-03-06 17:42:38 · 2861 阅读 · 0 评论 -
【js】 lodash命名转换和封装
underscore 内置了多种实用的函数,例如字符串操作、数组操作、对象操作、日期操作等等。爬虫中经常出现各种类型的命名,往往一个对象,几十个字段的命名风格都不是自己想要的,这时候就需要将整个对象自动转为自己想要的风格,而不是手动一个个转换。本节对snakeCase、camelCase、kebabCase进行封装,三个函数结构类似,主要逻辑都是遍历对象key,将key转换后返回新的对象。本章对lodash进行了介绍,并对其中的转换函数进行了简单的测试。1️⃣ lodash转换函数。原创 2023-11-16 23:51:47 · 1438 阅读 · 0 评论 -
【自动化】【autojs】02 autox环境搭建和踩坑
文章上面已经将adb配置到了环境变量中了,为了避免多个adb互相杀进程,这里直接将scrcpy中的adb移到别的目录。在教程中查了下,按照文档改了改,居然正常了,(虽然不知道为啥这么写,不太符合js语法吧)。,将其设置为环境变量Path中,重启VSCode,使Path生效。**ps:**文章中内容仅用于技术交流,请勿用于违规违法行为。目前只能说,遇到类似问题,多使用别的函数使用方法来测试。或点击"查看"->"命令面板"可调出命令面板,输入。,最后点击右上角的运行按钮即可控制手机打开微信了。原创 2022-12-20 20:58:47 · 6564 阅读 · 14 评论 -
【js逆向基础】crypto 之 hash和hmac
如果指定了有效的 encoding 参数,则该方法返回一个字符串,否则返回一个 Buffer 实例。如果 data 是一个 Buffer 实例,则会自动忽略 input_encoding 参数的值。这里的参数 key 是 HMAC 用于生成加密 HMAC 哈希的密钥。说到安全,就不得不说,加密与解密,今天要说的是nodejs原生加密库。该方法用于计算原始数据的哈希摘要。参数的值受限于当前平台 OpenSLL 所支持的算法,比如。参数的值受限于当前平台 OpenSLL 所支持的算法,比如。原创 2022-12-12 21:49:01 · 1504 阅读 · 0 评论 -
【自动化】【微信公众号】油猴 - 自动发布文章
公众号文章发布,需要设置定时发布、选择发布时间、点击继续等操作,时间久了,就懒了,特此做了插件,提高效率。原创 2022-12-11 21:33:56 · 1267 阅读 · 0 评论 -
【js】【爬虫】fetch + json-server 快速搭建爬虫服务器环境及数据后续处理(突破session缓存大小限制)
上篇《【js】【爬虫】fetch + sessionStorage 快速搭建爬虫环境》中,我们遇到爬取数据大于5M需要分批爬取数据的情况,那么有没有解决方案呢?json-server是一个简单的项目,它可以帮你快速搭建带有 CRUD 操作的 REST API。的端口,该端口也用于本机的一个服务器,所以这里就需要修改其端口为3333。json-server提供的线上服务(不推荐)json-server提供的线上服务(不推荐)使用过程中,json-server默认使用了。json-server使用。原创 2022-11-25 22:42:45 · 892 阅读 · 5 评论 -
【js】【爬虫】fetch + sessionStorage 快速搭建爬虫环境及各种踩坑
一说爬虫,很多人都会向导python,不过,真正省心的方案,应当是通过js控制获取数据,实现爬虫功能,它避免了很多反爬检查。一般,我们都需要处理如下多个页面的数据请求,从1到283,为了防止被服务器认为是恶意请求,我们需要做延迟操作。,一次性设置完所有任务,第一个请求是0s,第二个请求是5s,第三个请求是10s,依次增加。最不济,通过js模拟鼠标键盘操作,然后检查页面内容,进行数据爬取。Cookies保存数据太小,而且会被上传到服务器,不适合存储数据。indexedDB操作复杂,暂时不考虑。原创 2022-11-25 23:49:12 · 922 阅读 · 0 评论