- 博客(35)
- 收藏
- 关注
原创 [Ai Agent] 本地知识库检索运用
深入讲解了本地知识库和RAG技术在AI智能体中的应用。通过实战演示,详细介绍了如何在Coze平台上创建知识库、优化回复逻辑、整合在线文档和图片资源。
2025-08-29 16:17:41
616
原创 [Ai Agent] 从零开始搭建第一个智能体
本文介绍AI Agent的基本概念与商业价值。同时以简易客服为例,解析智能体运行逻辑:数据分块、索引匹配、生成回答,并演示使用“扣子”平台搭建一个“输入即返回”的初级Agent流程。
2025-08-28 19:47:26
456
原创 [逆向知识] AST抽象语法树:混淆与反混淆的逻辑互换(二)
本文深入解析AST(抽象语法树)的实际应用,首先介绍AST调试工具ASTexplorer的使用方法,然后详细讲解AST环境配置和基础代码搭建,同时涉及AST反混淆的核心技术,包括插件编写、节点操作、类型判断和替换等9种核心属性操作。
2025-08-17 20:40:14
1209
原创 [逆向知识] AST抽象语法树:混淆与反混淆的逻辑互换(一)
本文系统介绍了AST抽象语法树在代码混淆与反混淆中的应用。首先解释了AST的概念及其生成过程,随后详细分析了四种基于AST的代码混淆技术:标识符重命名、常量替换、控制流平坦化和僵尸代码注入。
2025-08-17 17:46:54
1128
原创 [爬虫实战] 基于半自动化的cookie池更新逻辑讲解
本文介绍了一种自动化构建和更新cookie池的方法,用于绕过网站反爬机制。将更新后的cookie用于后续爬取。以阿里法拍网为例,通过DrissionPage库实现浏览器自动化,配合requests进行爬取,当触发反爬时自动更新cookie,确保爬虫持续运行。
2025-08-13 19:22:41
1261
原创 [爬虫实战] 快速带你学会scrapy框架使用流程(二)
介绍了Scrapy框架的两个核心应用:图片爬取和深度爬取技术。首先详细讲解了如何使用ImagesPipeline管道类实现图片下载,包括get_media_requests、file_path等关键方法的实现。最后深入剖析了Scrapy框架的运行机制,包括引擎、调度器、下载器等核心组件的协作流程。
2025-07-27 12:57:08
1147
原创 [爬虫实战] 快速带你学会scrapy框架使用流程(一)
本文详细介绍了使用Scrapy框架爬取B站搜索结果的实战教程。首先讲解了Scrapy环境搭建和项目初始化,包括创建项目、配置settings.py文件等基础操作。然后通过XPath语法实现数据解析,详细说明了基于终端指令和基于管道的两种持久化存储方式。
2025-07-22 20:41:26
933
1
原创 [JS逆向] 微信小程序逆向工程实战
介绍了微信小程序逆向工程的完整流程和方法。首先需要准备调试工具(如fiddler)、解密工具包和微信开发者工具。清空小程序缓存、触发小程序事件获取数据包、使用工具解密和反编译数据包、将源码导入开发者工具并处理常见报错即可开始JS逆向调试。
2025-07-18 11:32:28
2140
原创 [爬虫实战] 多进程/多线程/协程-异步爬取豆瓣Top250
本文通过爬取豆瓣电影Top250的实战案例,对比了同步、多进程、多线程、协程四种爬虫实现方式的效率差异,并综合了四者不同的优劣与实际使用场景。
2025-07-12 21:48:54
1126
原创 [爬虫知识] 深入理解多进程/多线程/协程的异步逻辑
探讨了提升爬虫效率的三种异步技术方案。针对传统同步爬虫I/O等待的瓶颈问题,分析了多进程、多线程和协程的不同适用场景与代码示例。
2025-07-12 19:13:48
1774
原创 [爬虫实战] 使用 DrissionPage 自动化采集小红书笔记
本文介绍了一个基于DrissionPage框架的小红书笔记自动化采集方案。通过模拟扫码登录、直接构造搜索URL、监听API接口等方式,高效获取笔记数据。
2025-07-10 17:54:35
1496
原创 [爬虫知识] DrissionPage:强大的自动化工具
DrissionPage作为一款国产开源Python库,基于Selenium和Playwright深度封装,专为网页自动化操作而设计。其核心优势包括简洁易用的API、强大的网络请求拦截能力、真实用户行为模拟、灵活的无头/可视化模式切换以及完善的中文支持。
2025-07-10 16:02:52
1155
原创 [逆向知识] 瑞数补环境:公式与逻辑深挖
瑞数逆向分析指南:系统梳理了瑞数反爬方案的核心破解方法,指出瑞数的核心在于获取三个动态参数(ts代码、meta标签content值、auto自执行函数),通过动态生成cookie2实现成功请求。
2025-07-06 13:06:59
1371
原创 [JS逆向] 喜马拉雅登录案例 -- 补环境
介绍了喜马拉雅登录接口的逆向分析过程,通过webpack加载器分析、环境补全和参数追踪,重点破解account、nonce、password和signature四个关键参数。
2025-06-30 13:33:51
1756
原创 [逆向知识] 补环境 -- 让本地逆向如鱼得水
详细介绍了JS逆向爬虫中补环境的方法与技巧。通过分析浏览器特有属性和Node.js环境的差异,提出缺什么补什么的核心思路,并给出window、navigator等常见对象的补环境示例。针对复杂情况,介绍了代理监控器的高级用法,能有效追踪未定义属性。
2025-06-30 13:32:37
1798
原创 [爬虫实战] 爬取小说标题与对应内容
通过二次访问获取到了小说的标题与对应内容数据,同时用requests.session解决了SSL error问题
2025-05-20 22:34:45
1226
原创 [JS逆向] 得物案例 -- webpack
主要展示如何对得物网站的 API 请求签名进行逆向分析,并使用 Python 和 JavaScript 运行时 (`execjs`) 来生成签名,从而成功抓取数据。
2025-05-17 20:01:09
3886
原创 如何配置环境变量
(注:此处文件目录须是想打开应用的上级。cmd查找是直接找对应文件夹底下的应用!而如果未配置环境变量,则需手动输入一个相对位置才能定位到对应的文件。在cmd使用中,全局都可直接搜索到该文件/应用。如此,即可在cmd中直接输入并获取对应位置了。
2024-09-29 10:56:21
536
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人