![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 72
爱吃辣椒的锅包肉
trader and coder~
展开
-
Fiddler的配置和使用
命令方式的优点在于仅影响指定URL,不会影响其他URL。会提示下图安装证书,按照步骤安装即可。将这四个选项框都进行勾选, 在勾选。是影响所有URL的。原创 2023-09-14 23:40:30 · 1656 阅读 · 0 评论 -
Hook插件
原理:重新定义函数,使得调用位置走我们重新定义的函数,改变执行流程。因为atob为浏览器自带函数, 所以选择Hook时机应该在最前面。作用: 输出分析日志,定位关键点, 返回结果。原创 2023-03-19 21:23:51 · 1024 阅读 · 1 评论 -
高级JS补环境框架-第一章
结果可过瑞数原创 2023-03-12 22:50:13 · 2013 阅读 · 0 评论 -
【爬虫】 Vscode无环境联调和Ast-Hook内存漫游
【代码】【爬虫】 Vscode无环境联调和Ast-Hook内存漫游。原创 2022-12-25 17:13:11 · 951 阅读 · 0 评论 -
简单JS补环境
document、navigation 最好补为。原创 2022-12-10 23:34:33 · 3571 阅读 · 1 评论 -
逆向爬虫-sojson混淆反调加密
文章目录一、 获取sojson代码二、sojson加密特点和原理三、过sojson姿势方法3.1、格式化正则释义![在这里插入图片描述](https://img-blog.csdnimg.cn/16b654ad06cf40ccbffd2e436af7c0ce.png)3.2、网页调试过sojson3.3、 静态文件替换过sojson一、 获取sojson代码JS加密混淆本次使用代码:(function(w, d) { w.info = "这是一个一系列js操作。"; d.warning =原创 2022-05-04 22:27:48 · 2849 阅读 · 1 评论 -
爬虫扣JS注意事项
文章目录一、函数嵌套函数调用方法1.1、外层定义变量导出1.2、将方法改为自执行二、函数嵌套对象调用方法三、webpack方法调用3.1、webpack形式3.2 扣webpack js步骤四、函数的导出一、函数嵌套函数调用方法function xxx(){ let hex_md5 = function () { console.log("XiaoHao") }}此时如何调用hex_md5呢,其实将hex_md5方法导出即可。1.1、外层定义变量导出let _h原创 2022-04-24 00:07:30 · 1508 阅读 · 1 评论 -
JS逆向hook详解
文章目录一、什么是hook?1.1、理解Hook1.2、Object.defineProperty()二、常见的hook注入方式2.1、fiddler插件2.2、谷歌浏览器插件(Tampermonkey油猴)三、常见的hook代码总结3.1、Hook Cookie一、什么是hook?在 JS 逆向中,我们通常把替换原函数的过程都称为 Hook。一般使用Object.defineProperty()来进行hook。1.1、理解Hook以下先用一段简单的代码理解 Hook 的过程:function a原创 2022-04-10 23:31:22 · 5122 阅读 · 0 评论 -
Python爬虫实战——Svg映射型爬虫(大众点评)
一、svg爬虫简介SVG 是用于描述二维矢量图形的一种图形格式。它基于 XML 描述图形,对图形进行放大或缩小操作都不会影响图形质量。矢量图形的这个特点使得它被广泛应用在 Web 网站中。二、svg的具体表现css文件svg文件三、举例详解已知:类名:vhkjj4坐标:(-316px -141px)----取正整数则为(316,141)四、爬取大众点评评论数据①下载网页源代码网站链接: http://www.dianping.com/shop/130096343/revie原创 2021-03-13 23:37:13 · 1928 阅读 · 2 评论 -
Python爬虫实战——逆向破解签名型爬虫(有道词典)
签名验证反爬虫简介签名是根据数据源进行计算或加密过程,签名的结果是一个具有唯一性和一致性的字符串。签名结果的特征使得它成为验证数据来源和数据完整性条件,可以有效避免服务器端将伪造的数据或篡改的数据当成正常数据处理。签名验证是防止恶意连接和数据被篡改的有效方式之一,也是目前后端API最常用的防护手段之一。逆向分析步骤打开浏览器并访问 有道翻译网页分析在没有输入翻译内容之前,网页端是不会出现这些数据的,只有通过用户输入之后,才会出现翻译的内容。因此,判断这些翻译数据是通过异步加载出来的。接下原创 2021-03-05 22:11:41 · 1452 阅读 · 1 评论 -
web页面的渲染和构成
**1.1认识HTTP**超文本传输协议(Hyper Text Transfer Protocol,简称HTTP)是互联网中应用最为广泛的一种应用层协议,所有的超媒体文档都必须遵守这个标准。HTTP协议是为Web浏览器和Web服务器之间的通信设计的,但是也可以用于其他目的。HTTP协议是无状态协议,这意味着服务器不会在两个请求之间保留任何的数据或者状态。虽然它通常基于TCP/IP层,但是它可以在任何可靠的传输层上使用。HTTP协议有多个版本,如HTTP/1.0、HTTP/1.1和HTTP/2.0,其原创 2021-02-23 11:08:24 · 178 阅读 · 0 评论 -
爬虫开发环境配置
Ubuntu 是一个以桌面应用为主的开源操作系统,是用户量最庞大的Linux分支。Ubuntu 的第一个正式版本于2004年10月推出,版本号为4.10。正式版的推出引起了全球开发者的广泛关注,成千上万的自由软件爱好者加入了Ubuntu社区。发展至今,Ubuntu已经有很多版本和衍生品,例如服务器专版,长期支持版和OpenStack云版本等。官方地址阿里云镜像地址:阿里云。...原创 2021-02-08 23:25:29 · 1295 阅读 · 0 评论 -
python-爬虫 BeautifulSoup中selector使用
selecto内容寻找方法:1)打开Chrome浏览器,鼠标定位在需要提取的数据,右击,在弹出的快捷菜单中选择"检查"命令。2)在网页源码中右击所选元素。3)在弹出的快捷菜单中选着Copy selector。import requestsfrom bs4 import BeautifulSoupheaders = { 'User-Agent':'Mozilla/5.0 (Win...原创 2019-09-04 22:29:43 · 1373 阅读 · 0 评论