自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(35)
  • 收藏
  • 关注

原创 [Ai Agent] 本地知识库检索运用

深入讲解了本地知识库和RAG技术在AI智能体中的应用。通过实战演示,详细介绍了如何在Coze平台上创建知识库、优化回复逻辑、整合在线文档和图片资源。

2025-08-29 16:17:41 616

原创 [Ai Agent] 从零开始搭建第一个智能体

本文介绍AI Agent的基本概念与商业价值。同时以简易客服为例,解析智能体运行逻辑:数据分块、索引匹配、生成回答,并演示使用“扣子”平台搭建一个“输入即返回”的初级Agent流程。

2025-08-28 19:47:26 456

原创 [逆向知识] AST抽象语法树:混淆与反混淆的逻辑互换(二)

本文深入解析AST(抽象语法树)的实际应用,首先介绍AST调试工具ASTexplorer的使用方法,然后详细讲解AST环境配置和基础代码搭建,同时涉及AST反混淆的核心技术,包括插件编写、节点操作、类型判断和替换等9种核心属性操作。

2025-08-17 20:40:14 1209

原创 [逆向知识] AST抽象语法树:混淆与反混淆的逻辑互换(一)

本文系统介绍了AST抽象语法树在代码混淆与反混淆中的应用。首先解释了AST的概念及其生成过程,随后详细分析了四种基于AST的代码混淆技术:标识符重命名、常量替换、控制流平坦化和僵尸代码注入。

2025-08-17 17:46:54 1128

原创 [爬虫实战] 基于半自动化的cookie池更新逻辑讲解

本文介绍了一种自动化构建和更新cookie池的方法,用于绕过网站反爬机制。将更新后的cookie用于后续爬取。以阿里法拍网为例,通过DrissionPage库实现浏览器自动化,配合requests进行爬取,当触发反爬时自动更新cookie,确保爬虫持续运行。

2025-08-13 19:22:41 1261

原创 [爬虫实战] 快速带你学会scrapy框架使用流程(二)

介绍了Scrapy框架的两个核心应用:图片爬取和深度爬取技术。首先详细讲解了如何使用ImagesPipeline管道类实现图片下载,包括get_media_requests、file_path等关键方法的实现。最后深入剖析了Scrapy框架的运行机制,包括引擎、调度器、下载器等核心组件的协作流程。

2025-07-27 12:57:08 1147

原创 [爬虫实战] 快速带你学会scrapy框架使用流程(一)

本文详细介绍了使用Scrapy框架爬取B站搜索结果的实战教程。首先讲解了Scrapy环境搭建和项目初始化,包括创建项目、配置settings.py文件等基础操作。然后通过XPath语法实现数据解析,详细说明了基于终端指令和基于管道的两种持久化存储方式。

2025-07-22 20:41:26 933 1

原创 [JS逆向] 微信小程序逆向工程实战

介绍了微信小程序逆向工程的完整流程和方法。首先需要准备调试工具(如fiddler)、解密工具包和微信开发者工具。清空小程序缓存、触发小程序事件获取数据包、使用工具解密和反编译数据包、将源码导入开发者工具并处理常见报错即可开始JS逆向调试。

2025-07-18 11:32:28 2140

原创 [爬虫实战] 多进程/多线程/协程-异步爬取豆瓣Top250

本文通过爬取豆瓣电影Top250的实战案例,对比了同步、多进程、多线程、协程四种爬虫实现方式的效率差异,并综合了四者不同的优劣与实际使用场景。

2025-07-12 21:48:54 1126

原创 [爬虫知识] 深入理解多进程/多线程/协程的异步逻辑

探讨了提升爬虫效率的三种异步技术方案。针对传统同步爬虫I/O等待的瓶颈问题,分析了多进程、多线程和协程的不同适用场景与代码示例。

2025-07-12 19:13:48 1774

原创 [爬虫实战] 使用 DrissionPage 自动化采集小红书笔记

本文介绍了一个基于DrissionPage框架的小红书笔记自动化采集方案。通过模拟扫码登录、直接构造搜索URL、监听API接口等方式,高效获取笔记数据。

2025-07-10 17:54:35 1496

原创 [爬虫知识] DrissionPage:强大的自动化工具

DrissionPage作为一款国产开源Python库,基于Selenium和Playwright深度封装,专为网页自动化操作而设计。其核心优势包括简洁易用的API、强大的网络请求拦截能力、真实用户行为模拟、灵活的无头/可视化模式切换以及完善的中文支持。

2025-07-10 16:02:52 1155

原创 [逆向知识] 瑞数补环境:公式与逻辑深挖

瑞数逆向分析指南:系统梳理了瑞数反爬方案的核心破解方法,指出瑞数的核心在于获取三个动态参数(ts代码、meta标签content值、auto自执行函数),通过动态生成cookie2实现成功请求。

2025-07-06 13:06:59 1371

原创 [JS逆向] 喜马拉雅登录案例 -- 补环境

介绍了喜马拉雅登录接口的逆向分析过程,通过webpack加载器分析、环境补全和参数追踪,重点破解account、nonce、password和signature四个关键参数。

2025-06-30 13:33:51 1756

原创 [逆向知识] 补环境 -- 让本地逆向如鱼得水

详细介绍了JS逆向爬虫中补环境的方法与技巧。通过分析浏览器特有属性和Node.js环境的差异,提出缺什么补什么的核心思路,并给出window、navigator等常见对象的补环境示例。针对复杂情况,介绍了代理监控器的高级用法,能有效追踪未定义属性。

2025-06-30 13:32:37 1798

原创 [JS逆向] 烯牛数据

详细分析烯牛数据中的数据流通,并成功通过JS逆向加解密算法,得到对应数据。

2025-06-04 21:21:48 1594

原创 [JS逆向] 福建电子交易平台

对福建省电子公共服务平台逆向,涉及到AES,md5等密码学的JS加解密具体逻辑分析。

2025-06-01 17:31:19 1554

原创 [JS逆向] 微信公众号登录案例

分析微信公众号的加密密码,并通过算法复现逆向成功

2025-05-27 21:24:36 1617

原创 [逆向知识] 密码学:通往JS逆向路上必会的一环

介绍JS逆向中的主流加密算法,讲解其概念的同时对其解决方式进行详细阐述。

2025-05-27 21:24:09 2270

原创 [爬虫知识] IP代理

介绍IP代理在爬虫中的场景,与不同的IP代理的特性以及如何构建一个爬虫池并在具体爬虫项目中使用。

2025-05-24 21:46:52 1523

原创 [爬虫实战] 代理爬取:小白也能看懂怎么用代理

图文讲解如何实际获取代理IP,并将其运用在实际爬虫的场景中。

2025-05-24 21:46:20 1766

原创 [爬虫实战] 爬微博图片:xpath的具体运用

实战中仔细分析网站,同时用xpath与图片懒加载的知识获得数据。

2025-05-24 10:52:37 1476

原创 [爬虫实战] 图片懒加载:手把手教你高效抓取

简要介绍图片懒加载的出现场景,通过实战案例讲解如何处理类似问题,最后总结其原理与爬虫绕过方式

2025-05-21 21:32:37 1485

原创 [爬虫知识] http协议

介绍http协议特性,与爬虫在该协议上的各种相关关系。

2025-05-21 16:15:26 1670

原创 [爬虫实战] 爬取小说标题与对应内容

通过二次访问获取到了小说的标题与对应内容数据,同时用requests.session解决了SSL error问题

2025-05-20 22:34:45 1226

原创 [爬虫知识] Cookie与Session

介绍了cookie/session的概念与相关作用,同时重点讲解了二者在爬虫中作用的体现。

2025-05-20 22:32:38 1554

原创 [爬虫知识] 数据解析

介绍爬虫中数据解析的通用流程,并通过text/json的区分,把两种类型网站的不同爬取方式表示出来。

2025-05-19 21:58:35 1400

原创 [爬虫实战] 爬取text型数据

通过实际案例,总结归纳了text型大部分网站的爬取流程。

2025-05-19 21:52:16 1018

原创 [爬虫实战] 爬取json型数据

主要介绍了一般网站的爬取流程,并选用实际案例做具体讲解。

2025-05-18 19:26:16 1633

原创 [爬虫知识] 爬取基础流程

本文主要介绍了爬虫在基础爬取上的流程与爬虫进阶技巧学习的必要性。

2025-05-18 15:38:37 591

原创 [爬虫知识] 开发者工具

本文主要介绍了开发者工具的简单使用方法与在爬虫中的实际运用。

2025-05-18 15:21:31 2345

原创 [爬虫知识] 基础入门

文章面向完全零基础的小白用户,帮助了解什么是爬虫、能做什么、需要掌握哪些技术,以及整个学习路线的建议。

2025-05-17 20:59:24 2515

原创 [JS逆向] 得物案例 -- webpack

主要展示如何对得物网站的 API 请求签名进行逆向分析,并使用 Python 和 JavaScript 运行时 (`execjs`) 来生成签名,从而成功抓取数据。

2025-05-17 20:01:09 3886

原创 [逆向知识] webpack

简要介绍webpack与其在爬虫场景下的处理方法

2025-05-16 20:52:18 1019

原创 如何配置环境变量

(注:此处文件目录须是想打开应用的上级。cmd查找是直接找对应文件夹底下的应用!而如果未配置环境变量,则需手动输入一个相对位置才能定位到对应的文件。在cmd使用中,全局都可直接搜索到该文件/应用。如此,即可在cmd中直接输入并获取对应位置了。

2024-09-29 10:56:21 536

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除