- 博客(229)
- 收藏
- 关注
RSS订阅原创 理论篇| Loop Engineering综述
*Addy Osmani（Google Chrome 团队工程师）：在博客上发表长文，正式命名这个概念——Loop Engineerig****三人的共识指向同一个动作：设计的对象从"Agent的单次行为"转变为"驱动Agent的完整系统"。，让从"你盯Agent"到"Agent自己转"——把循环的执行者从人换成AI。原本由你亲自跑的"发现问题→想办法→动手→检查"循环，现在交给Agent去跑。你要做的，只剩开头把目标（验收标准）说清楚。。发现问题、想办法、动手、检查结果，每个环节都在，循环也确实在转。
2026-07-18 17:43:06
151
原创 不得不懂的代理选型指南
背景：在项目实战中，生产者成功率从 05-15 的 43.6% 崩塌到 9.7%~11.8%，根因是 KDL 隧道代理单 IP 被 Kasada 烧穿。本文记录代理选型分析与推荐。
2026-07-18 17:40:49
381
原创 防火墙：场景驱动的选型与功能推荐
防火墙的本质是网络边界的流量管控设备——依据安全策略放行合法流量、拦截风险流量。但"防火墙"这个词涵盖的技术形态跨度极大，从几十块的路由器ACL到百万级的企业NGFW都叫防火墙。选错类型，轻则防护无效，重则业务中断。本文从实际场景出发，讲清每类防火墙适用于什么场景、什么功能值得开启、什么功能可以暂缓。
2026-07-07 16:04:14
213
原创 AI编程进阶| @胡彦斌，你要懂不仅仅是Vibe Coding，还有 ......
反响还不错，不过随着自身vibe Coding不断尝试，确实发现一些Vibe Coding不尽人意的地方，不仅彦斌要学，我相信包括我在内的很多使用AI编程工具的伙伴都要学习AI编程的进阶。OpenSpec 的做法是：在写代码之前，先让 AI 和你达成共识——把需求变成结构化的规范文档，确认无误后再动手。你一定经历过这样的场景：让 AI 帮你写一个功能，它三分钟就交出了代码，你一看——功能是有了，但命名风格和项目完全不一致，还顺手重构了你没要求改的模块，甚至悄悄引入了一个你根本不需要的依赖。
2026-06-25 11:59:06
20
原创 工具篇| CloakBrowser：源码级反检测 Chromium 的理论与实践
现代反爬虫的终极战场在。之类的 JS 注入方案每次 Chrome 升级都会失效，的配置级补丁无法改变底层渲染行为。CloakBrowser 直接修改 Chromium 源码、重新编译二进制，把指纹伪装做在编译期——反爬系统看到的是一个真正的浏览器，因为它一个真正的浏览器。本文系统介绍其原理、API、实战用法，以及基于它构建的 cf-killer 自动解盾工具。
2026-06-17 17:54:02
218
原创 工具篇| curl_cffi理论和应用
本文介绍 Python 库 curl_cffi 如何通过模拟浏览器 TLS/JA3/HTTP2 指纹突破现代反爬机制。关键点包括： 反爬原理：现代 WAF 通过 TLS 握手参数（密码套件、扩展顺序等）生成 JA3 指纹识别爬虫，即使修改 User-Agent 也会暴露。 技术方案：curl_cffi 底层修改 curl 使用浏览器同款 TLS 库（BoringSSL/NSS），精确模拟 Chrome/Safari/Firefox 等浏览器的网络特征。 使用方法： 支持模拟 Chrome/Edge/Safa
2026-06-17 09:12:29
379
原创 福建省第一届“闽盾杯“网络安全职业技能竞赛 — 备赛学习路线
竞赛信息：理论成绩占20%（选择题）+ CTF实操占80%（夺旗赛模式）初赛时间：2026年7月15日 | 决赛时间：2026年8月中下旬竞赛标准：依据国家职业技能标准高级工（三级）相关要求。
2026-06-10 10:30:25
565
1
原创 工具篇| Agent中的爱马仕—Hermes
Hermes Agent 最值得借鉴的地方，不是某一个工具，而是它的系统设计：把记忆、技能、工具、入口、执行后端、上下文治理全部放进一套统一的 Agent 运行时里，再通过持续积累，把“使用经验”变成“可复用能力”。它已经明显超出普通聊天机器人，更接近一个面向个人与团队的 Agent 基础设施。Hermes不是在回答问题，它是在构建一个会成长的工作系统。
2026-04-28 11:31:23
482
原创 分布式爬虫不仅懂得scrapy框架还需要懂得分布式爬虫部署
分布式爬虫代码写好了，又来一个问题，怎么快速部署到多台机器上，又令人头疼。如果没有scrapyd，那么只能利用以下方式进行多台服务器手动部署。（1）采用上传文件的方式部署代码，我们首先将代码压缩，然后采用 SFTP 或 FTP 的方式将文件上传到服务器，之后再连接服务器将文件解压，每个服务器都需要这样配置。（2）采用 Git 同步的方式部署代码，我们可以先把代码 Push 到某个 Git 仓库里，然后再远程连接各台主机执行 Pull 操作，同步代码，每个服务器同样需要做一次操作。
2026-04-28 11:29:25
1429
原创 【基础】医学影像数据标准和常用代码工具
医学影像的数据标准，本质是在解决“不同系统如何协作”。DICOM：临床标准（存储 + 传输）NIfTI：科研标准（计算 + AI）工具链：连接数据与算法一句话总结：DICOM 负责“能用”，NIfTI 负责“好用”，工具链负责“用得高效”。
2026-04-09 11:15:47
63
原创 【基础】医学影像知识综述
X 射线看的是投影阴影，CT 看的是断层结构，MRI 看的是软组织和组织状态，超声看的是实时回波，PET/SPECT 看的是功能和代谢。如果把临床诊断比作一场侦查，这五种技术分别提供了“平面线索、剖面结构、精细组织、动态过程、分子证据”五种不同层级的信息。
2026-04-09 11:09:40
478
原创 原理篇| 深入理解Skills概念
之前写过MCP相关文章，里面深刻阐述了MCP在智能体中作用，近期出现了Skills的概念，可谓如火如荼。Skills概念同样也是Anthropic（Claude）提出。第一要阐述就是MCP和Skills的区别和联系是什么？
2026-03-10 11:21:07
80
原创 Scrapy-Redis源码解析
一、整体架构：它替换了 Scrapy 的哪些部分↓Scheduler (内存队列 + 本地 DupeFilter)↓Downloader↓↓替换成：Spider.start_requests() ← 替换为从 Redis 读取↓Scheduler (Redis 队列 + Redis DupeFilter) ← 核心替换↓Downloader ← 不动↓↓Item Pipeline ← 可选：RedisPipeline。
2026-03-04 16:33:03
162
原创 分布式爬虫-Scrapy-Redis
Scrapy 爬虫框架的用法。这些框架都是在同一台主机上运行的，爬取效率比较有限。如果多台主机协同爬取，那么爬取效率必然会成倍增长，这就是分布式爬虫的优势。Scrapy 单机爬虫中有一个本地爬取队列 Queue，这个队列是利用 deque 模块实现的。如果新的 Request 生成就会放到队列里面，随后 Request 被 Scheduler 调度。之后，Request 交给 Downloader 执行爬取。
2026-03-04 15:25:09
777
原创 常识篇| 反爬巨头整理Akamai 及主流 CDN / 安全厂商（含Cloudflare、Fastly、CloudFront）对比
前面写了一篇Akamai的文章，发现大家对这块想了解更多，特地整理一下。
2026-02-07 19:09:08
927
原创 应对高深反爬机制| 反爬检测 之定位是不是Akamai
随着对爬虫技术深入，发现反爬技术越来越高深，而且种类繁多，不再简单数字验证码，而是基于大数据和人工智能技术的服务产商，Akamai就是典型之一。
2026-02-07 18:40:50
929
原创 工具篇| Clawdbot祛魅
，不论从架构或者使用方式（说实话，安装起来，特别是渠道这块在国内主流的即时通信因各种原因是缺失，对国内其实是非常不友好），都是一种普通的Agent，为何在网上被吹得那么高，核心不是因为它比 GPT 更聪明（准确的说，他也依赖具体模型的能力），而是它把持续在线、本地运行、消息通道接入、可执行系统操作与可扩展技能（plugins/skills）这些能力拼在了一起，变成了一个能主动做事”的代理（agent）。（这是其力量来源，也是风险来源， 如果大家用过trae solo模式，这种操作已经见怪不怪了）。
2026-01-29 10:23:15
110
原创 实战篇| 开源的Camoufox指纹浏览器如何快速集成指纹
实战篇| 开源的指纹浏览器Camoufox里面介绍了camoufox的指纹类型，有太多指纹，如果要一个个注入，开发成本和实验成本太大，如何快速自定义出灵活的指纹，快速注入，这里介绍一个库，BrowserForge 。同时camoufox与BrowserForge可以快速兼容。Camoufox 与 BrowserForge 指纹兼容。默认情况下，Camoufox 将根据目标操作系统和屏幕限制生成一个随机的 BrowserForge 指纹。如果要集成更多的BrowserForge指纹信息, 同时为了封装成快
2026-01-26 21:56:04
292
原创 实战篇| 开源的指纹浏览器Camoufox
前面已经写了2篇关于指纹浏览器的文章，https://blog.csdn.net/youbingchen/article/details/152777761?spm=1001.2014.3001.5501和https://blog.csdn.net/youbingchen/article/details/152779347?spm=1001.2014.3001.5501 系统性介绍了指纹浏览器的概念和产品，这章节就开始介绍项目中自己会使用的开源指纹浏览器的Camoufox。
2026-01-26 17:07:34
456
原创 实战篇| app爬虫不用真机
之前写过一篇基于真机app爬虫《App爬虫实战篇-以华为真机手机爬取集换社的app为例》，如果大家有用真机爬虫的经历，会深刻认识到真的不方便，一是自己的手机，经常会被电话、微信等打断，二是闲置手机，面对小批量数据还能勉强，大批量爬虫，会导致成本指数级上升，并且控制起来相对麻烦。以下就是常见的模拟器。emulator -avd my_avd -no-snapshot-save # 启动时不保存 snapshot。emulator -avd my_avd -wipe-data # 清除数据（恢复到出厂）
2025-10-14 09:17:38
571
原创 实践篇| 代码伪造指纹
过度频繁或不合逻辑的变动本身会成为明显的异常信号，被平台作为“指纹漂移/切换”模式反而更容易关联和检测。保持每个 profile 的长期稳定性 + 在合理范围内、基于“真实设备族群”的小幅、可控变异（并且与网络/IP/时区/字体等一致）进行周期性更新。下面按要点讲清为什么、如何做，以及给出工程级的参数化/轮换实现示例。
2025-10-14 08:38:37
324
原创 Linux下基于关键词文件搜索
前面写了一篇《windows下基于关键词文件检索》文章，但是随着近些年，办公电脑国产化越来越普及。不得不，再编写一篇，《Linux下基于关键词文件搜索》。
2025-10-13 17:36:03
646
原创 windows下基于关键词文件检索
我们经常有个痛点，就是在企业定期排查和审计员工的电脑，要求本地电脑不能保存各种文件。并要求把相关文件进行删除。虽然windows操作系统下有众多优秀搜索软件，如everything、library等。很多在企业、政府办公环境下，电脑网络是断网的，或安装软件需要提权要求。并且很多场景下，我们除了检索出来之后，还要手动定位删除，相对耗时耗力。
2025-10-13 17:29:22
444
原创 原理篇| 如何伪造指纹？
对于我们普通人来说，第一种和第二种都是很好的选择，第一种几乎可以不花钱，去浏览器插件里搜索fingerprint有很多浏览器插件可以用。第二种市面上成熟的浏览器指纹商家有很多，甚至有些开源的供给大家免费使用。
2025-10-09 09:57:50
236
原创 工具篇| 初识指纹浏览器
指纹浏览器通过模拟浏览器的硬件配置文件，实现浏览器指纹防护功能，保护用户隐私与安全。用户可以下载安装这些特殊的浏览器。通过伪造或控制大量“浏览器指纹”字段（User-Agent、Canvas、WebGL、字体列表、时区、屏幕分辨率、WebRTC、client hints 等），让每个“浏览器配置”看起来像独立真实设备，从而管理多账号或降低反爬/反刷检测风险。与人类指纹一样，这些指纹有助于去识别到每个网络主体。以下是一些常见浏览器指纹信息。字段类别采集方式判别力如何伪造 / 对抗（工程可行）
2025-10-09 09:22:20
269
原创 综合篇| 智能体平台dify、coze和n8n对比
数据存储：Postgres（元数据/配置）、Redis（缓存/会话/队列）、对象存储兼容 S3。数据存储：Postgres / SQLite（workflow & state），Redis（可选用于缓存/队列） Connectors：大量内置节点（HTTP、数据库、SaaS APIs、文件、消息等），通过社区插件/节点扩展生态。》文章介绍过智能体的相关概念，以及一些常见智能体的对比，本文将更聚焦一点，针对其中三个比较优秀且开源的项目，进行深入分析和对比，方便大家在场景落地过程中，选择最适合自己的开源框架。
2025-09-15 15:53:41
186
原创 知识篇| 未来编程方式—vibe Coding
Vibe Coding（氛围编程）是一种由AI驱动的革命性编程范式，其核心在于开发者通过自然语言描述需求，由人工智能（特别是大型语言模型）自动生成可运行的代码，它不同于传统需要撰写大量代码的开发方式，也不只是拖拉模块的 No-code（或者低代码方式），而是通过 AI 模型理解用户的自然语言需求，自动产出应用程序逻辑与操作界面，让开发过程变得像在聊天，从而降低编程门槛并提升开发效率，这种模式非常适用于MVP验证，加速想法到落地的进程。代码可移植性：v0 生成的代码支持复制粘贴，方便你轻松集成到现有项目中。
2025-08-29 10:40:15
408
原创 【爬虫实战-IP代理的重要性二】 以Selenium为例
前面文章已经提到过了urllib和request注入代理，一样本章节的实验代码依然需要完上节内容的前置条件，准备好代理。
2025-08-20 19:55:15
328
原创 windows 应用爬虫： exe自动操作
之前写了那么多关于手机和网页爬取，今天就写一期关于exe的爬取，exe的爬取其实也是类似的，一个方式是抓包，还有一个模拟人工界面获取元素数据。抓包肯定是最直接，数据也是最全的， 有些数据不一定会显示在界面上，或者必须通过一定交付方式，才能显示到页面（比如移动鼠标到具体元素上）。本文依旧采用python方式，先说说怎么通过界面方式驱动应用点击和数据获取。
2025-07-11 15:19:59
865
原创 windows exe爬虫：exe抓包
在不知情所拦截应用使用的流量时，所以建议用Wireshark。本文利用python代码，实现自动拦截，写入pcap包，并用代码分析流量的协议。这样会在本地目录下生成capture_inbound.pcap，可以用wireshark分析，也可以利用python代码进行分析，如果使用python代码进行分析，需要借助pyshark或者scapy。使用的python WinDivert的包，当然前提也是需要安装Wireshark软件，设置环境变量，并安装pydirvert包。
2025-07-11 15:19:21
587
原创 App爬虫实战篇-以华为真机手机爬取集换社的app为例
在开始学习这篇文章之前，建议你先按照之前2篇文章（和），配置必要的环境，才可以继续完成本章节内容。
2025-07-05 12:39:14
761
原创 App爬虫工具篇-appium配置
接着上篇文章,安装好了之后，还是不够的，要让其能够驱动手机端，还需要配置。这节课就深入说说如何配置Appium。
2025-07-05 11:16:36
814
原创 【微服务实践】中国地区任意层级选择
我这里多设计了张闭包表，原因可以参考我之前https://blog.csdn.net/youbingchen/article/details/141321512?spm=1001.2014.3001.5502的文章，在这个功能中，我是为了在后续分析数据方便，比如选择福建省的时候，可以获取出福建省下面所有的项目。开源网站https://github.com/adyliu/china_area下载相应的数据，本文以下载json文件为例，如何将下载的数据导入上述设计的数据库，答案是代码。2、导入中国地域数据。
2025-07-03 15:58:49
140
原创 App爬虫工具篇-Appium安装
摘要：本文探讨了使用mitmproxy进行App接口数据抓取时遇到的加密问题。作者通过实际案例展示了一个加密后的接口数据样本，并指出当前许多应用会对接口进行加密处理，增加了数据抓取的难度。文章主要面向需要破解加密接口的爬虫开发者，提供了实际问题场景的参考案例，为后续讨论接口解密方法做铺垫。全文以技术实践为导向，重点呈现了加密接口数据的真实样貌。
2025-07-03 15:57:58
345
原创 Claude 4 启示录-留给初级程序员的时间不多了
总之，从2022年大模型横空出世时，到今天Claude4发布， 之前被程序员自持一技之长，编程能力，逐渐被大模型不断攻陷，未来，初级程序员越来越难， 会倒逼程序员快速成长，不然会被快速被淘汰掉， 可能就连模型写出来代码都看不懂， 更不要说使用大模型生成的代码。在编程、工具使用、视觉推理、数学等领域的基准测试中，这两款模型超越了OpenAI o3，而在多语言问答、研究生级别推理任务上，Claude Opus 4与OpenAI o3得分持平。新模型通过管理待办事项列表保持记忆，不会丢失线索。
2025-06-06 17:10:35
168
原创 应用篇| MCP为智能体插上翅膀
除了stdio连接模式外，MCP还提供了可以服务器、客户端异地运行的SSE传输模式，以适用于更加通用的开发情况，以及现在逐渐推出可流式传输的 HTTP”来替代现有的 HTTP+SSE 方案。此举旨在解决当前远程 MCP 传输方式的关键限制，同时保留其优势。MCP作为万能钥匙, 可以加速智能体的研发， MCP标准通信协议带来的最大价值之一，就是让广大Agent开发者能够基于此进行协作。已经诞生了数以千计的MCP服务器，允许用户直接下载并进行调用（见文末参考中的链接）。
2025-06-06 16:55:03
324
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人