![](https://img-blog.csdnimg.cn/8fe34a81c7334b6ebdecbee9104c0791.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
爬虫总结
文章平均质量分 92
爬虫、逆向
mkdir700
梦想还是要有的
展开
-
小试牛刀-利用AST平坦化一段瑞数代码
文章目录前言第一式:鬼影迷踪第二式:森罗万象处理逻辑Step1-处理if...else if...Step2-补全if...else...Step3-平坦化小结参考文章前言最近一直在学习AST相关的知识,本篇文章就来小小的尝试下,利用AST平坦化控制流。正常的执行逻辑: a -> b -> c混淆后的执行逻辑则可能是这样:a -> d -> b -> d -> c -> d下方是从瑞数中提出的一段代码。源代码function func (_$eE)原创 2021-06-16 22:51:15 · 2861 阅读 · 9 评论 -
JavaScript AST抽象语法树常见节点及结构
前言最近开始接触AST,用于解决JS代码混淆的问题。在看@渔哥的文章,虽然目前还是有点云里雾里的。本文总结了常见的节点类型及结构,推荐使用下方网站,结合例子对照观察。工具网站:https://astexplorer.net/Program(程序)结构:{ "type": "Program", "body": [], // 多个节点 "sourceType": "module", "range": [] //代码起始位置}Identifier(标识符)原创 2021-06-06 15:16:17 · 3108 阅读 · 1 评论 -
【瑞数】维普期刊搜索接口逆向总结_2_获取Cookie
文章目录前文回顾提出问题问题1:Cookie从何而来?问题描述hook查看`GW1gelwM5YZuT`何时生成问题2:搜索页面不匹配问题描述抓包分析如何获取“页面Cookie”页面Cookie的自动化获取总结前文回顾在【瑞数】维普期刊JS逆向详细流程及4000字爬虫总结(1)一文中,成功拿到了搜索接口的签名。本文主要探究cookie的获取。接口签名的生成与获取cookie的生成与获取基于浏览器环境的爬虫如何部署?关于本次瑞数解密的总结提出问题一提到cookie的获取,第一想法就是简单原创 2021-05-29 20:40:10 · 5360 阅读 · 10 评论 -
【瑞数】维普期刊JS逆向4000字详细流程_1_获取接口签名
文章目录前言过debugger定时器debugger死循环debugger分析搜索接口签名在何处生成?中场休息代码来源分析分析代码来源注入代码设置签名为全局变量剔除debugger小结签名测试前言我所用的方法基于浏览器环境的,非硬解(头秃ing????),文章较长,建议收藏。这是我第一次接触瑞数加密,比较难,不过学到的东西也是挺多的,也是因为我第一次解瑞数,所以文章写得比较详细甚至是啰嗦,这篇文章大致是以我逆向的思路去写的,应该适合像我这样从未接触过瑞数的朋友。这次逆向总结,估计会写3到4篇文章。原创 2021-05-26 22:25:31 · 12344 阅读 · 36 评论 -
玩物得志H5列表页签名逆向总结
文章目录前言kl_tkl_trace_idkl_device_idkl_signmTO总结前言网址:aHR0cHM6Ly9oNS53YW53dWRlemhpLmNvbS9tYWxsLXdlYi9jYXRlZ29yeS9jbGFzc2lmeS8xNjE5MTYxNDM3NDMxP3RleHQ9JUU1JTkyJThDJUU3JTk0JUIwJUU3JThFJTg5JmNpZD0xMCZmYWNhZGVDYXRlZ29yeUlkPTEwJmlzU2hvd0F1Y3Rpb25GaXJzdD0xJl9fSGd原创 2021-05-02 12:11:16 · 847 阅读 · 0 评论 -
CSS字体加密反反爬通用方法
前言对于CSS字体加密,我目前遇到了这几种情况:字体字形坐标点与编码之间的对应关系不会随着多次请求而变化,例如:58同城房子出租字体字形坐标点每次请求时,位置不固定,但是每个文字的打点数量一致,例如:猿人学第7题字体的打点坐标点与打点数量随着每次请求都会发生变换,例如:58同城招聘我们之所以认为1这个形状是数字一。是因为我们通过学习后才懂得,“哦!这个是 ‘1‘ 。”所以,为了让电脑识别出文字,就可以依靠机器学习,啊,但是我不会。直接上手机器学习针对的是比较难识别的图像,例如:复杂的验证码。原创 2021-04-27 20:07:12 · 988 阅读 · 2 评论 -
雷速体育Canvas文字加密逆向总结
网址:https://live.leisu.com/wanchang可以看到这个比分是使用canvas绘制上去的。了解Canvas首先了解下canvas是一个可以使用脚本(通常为JavaScript)来绘制图形的 HTML 元素.例如,它可以用于绘制图表、制作图片构图或者制作简单的(以及不那么简单的)动画.主要了解下 canvas绘制文本https://developer.mozilla.org/zh-CN/docs/Web/API/Canvas_API/Tutorial/Drawing_原创 2021-04-10 15:10:18 · 3351 阅读 · 18 评论 -
Scrapy-Redis非多网址采集的使用
问题描述默认RedisSpider在启动时,首先会读取redis中的spidername:start_urls,如果有值则根据url构建request对象。现在的要求是,根据特定关键词采集。例如:目标站点有一个接口,根据post请求参数来返回结果。那么,在这种情况下,构建request主要的变换就是请求体(body),API接口是不变的。对于原来通过url构建request的策略就不再适用了。所以,此时我们需要对相应的方法进行重写。重写方法爬虫类需要继承至scrapy_redis.spide原创 2021-01-29 15:01:11 · 4196 阅读 · 0 评论 -
Scrapy-Redis使用教程&&将现有爬虫修改为分布式爬虫
前言scrapy爬虫框架非常好用,如果再配合scrapy-redis进行分布式爬取,爬取速度将进一步提升!本文小结了scrapy-redis的使用方法以及如何将现有爬虫通过scrapy-redis更改为分布式爬虫。使用scrapy-redis改造前:import scrapyclass ExampleSpider(scrapy.Spider): name = 'example' allowed_domains = ['example.com'] start_urls原创 2021-01-16 20:18:52 · 1605 阅读 · 1 评论 -
通过JS逆向ProtoBuf 反反爬思路分享
前言本文意在记录,在爬虫过程中,我首次遇到Protobuf时的一系列问题和解决问题的思路。文章编写遵循当时工作的思路,优点:非常详细,缺点:文字冗长,描述不准确protobuf用在前后端传输,在一定程度节约了带宽,也为爬虫工程师增加了工作量。遇见Protobuf一拿到网站,F12查看是否有相关数据的请求接口ok! 接口找到了,看下请求参数吧!emmm~~ 为啥请求参数是乱码?平时见着的都是这个样子滴?可以直接看到参数!哎,咱们这初出茅庐的菜鸟,乖乖搜搜,看看有没有前辈们写过相关的文章原创 2020-12-26 11:10:34 · 4560 阅读 · 18 评论