- 博客(541)
- 资源 (8)
- 收藏
- 关注
原创 LLM 驱动的自动化测试系列(10):自愈定位——当启发式打分撞上语义理解的天花板
Web UI 自动化测试最脆弱的部分不是断言逻辑,而是元素定位——`id`、`class`、DOM 层级只要改版就可能失效,脚本报错的不是业务逻辑,而是"这个按钮的选择器找不到了"。**自愈定位(Self-Healing Locators)**要解决的正是这个问题:定位失败时,系统尝试自动找到"看起来应该是同一个元素"的新定位方式,而不是让测试直接红掉、等人工去修选择器。
2026-10-12 20:41:07
16
原创 开源项目第233期:Open-XiaoAI — 刷机接管小米小爱音箱,接入 ChatGPT/小智 AI/Gemini Live
直接接管小米小爱音箱 Pro(LX06/OH2P)的麦克风和扬声器,把 Server 端的任意大模型/AI Agent 接入进去。Rust 补丁程序只做转发,业务逻辑(小智 AI、MiGPT、Gemini Live、自定义唤醒词)全部跑在你自己的电脑或服务器上。
2026-10-11 19:05:32
64
原创 LLM 驱动的自动化测试系列(09):移动端自动化(五)——当通用 Agent 框架下沉到测试场景
MetaGPT 是一个'多智能体软件公司'框架,主打需求分析、代码生成这类通用软件工程场景,但它内置了一个 Android 测试 demo。直接读代码会发现规划文档里的一个预设是错的:这个 demo 没有复用 MetaGPT 通常宣传的产品经理/工程师/QA 角色分工,而是只有一个自定义 Role,复用的是 Team/Environment/Role/Action 这套更底层的调度骨架;更关键的是,README 里明确写着它'借鉴了 AppAgent 的思路和代码'——这篇拆解这个通用框架到底继承了 App
2026-10-11 18:56:43
348
原创 LLM 驱动的自动化测试系列(08):移动端自动化(四)——AppAgent:解析树与视觉特征的结合
AppAgent 是腾讯出品、CHI 2025 收录的多模态智能体框架,目标是让一个多模态大模型像人一样通过点击、滑动操作手机 App,而不依赖任何系统后端接口
2026-10-10 20:57:14
393
原创 一天一个开源项目(第232篇):DSH Desktop —— 把桌面壳本身也做成一个插件,30k+ Stars 的 DeepSeek Harness 桌面客户端
DSH Desktop 是社区打造的 DeepSeek Harness(DSH)桌面客户端,面向 Windows/macOS,核心理念是"万物皆插件,桌面本身也是插件"——窗口、托盘、终端、更新器全部以 DSH 插件形式接入运行时,而非魔改上游源码
2026-10-10 20:51:03
245
原创 一天一个开源项目(第231篇):MiniMind —— 花3块钱、2小时,从零训练一个 64M 参数的大语言模型
MiniMind 是一个完全从零用原生 PyTorch 实现的开源 LLM 训练项目,核心主张是"用约3元成本、2小时训练时间,从零训练一个6400万参数的语言模型"。覆盖完整训练链路:预训练、SFT、LoRA、DPO、RLAIF(PPO/GRPO/CISPO)、Agentic RL、知识蒸馏,并延伸出视觉、多模态、扩散模型、线性注意力等衍生项目
2026-10-09 20:45:10
212
原创 LLM 驱动的自动化测试系列(07):移动端自动化(三)——Mobile-Agent-v3 与自研 GUI-Owl 模型路线
Mobile-Agent-v3 是阿里通义实验室(Tongyi Lab)基于自研 GUI-Owl 模型打造的多智能体框架,跟前两篇依赖通用 VLM(Gemini/GPT/Claude)做感知的 ARTEMIS、Mobilerun 走的是完全不同的路:自己训练一个专门做 GUI grounding 的模型,让它输出'绝对像素坐标'而不用再猜。
2026-10-09 20:24:13
438
原创 LLM 驱动的自动化测试系列(06):移动端自动化(二)——DroidRun/Mobilerun 的角色级模型拆分
DroidRun(现更名为 Mobilerun)用统一的设备驱动抽象把 Android 和 iOS 塞进同一套工具接口,但它跟上一篇的 ARTEMIS 走的是完全不同的路:不是'任务级'选择 Flash 还是 Pro,而是'角色级'——Manager、Executor、FastAgent 三个角色分别配模型、配温度。这篇拆解它的多智能体工作流、Portal 无障碍服务、App Card 机制
2026-10-08 20:44:31
346
原创 LLM 自动化测试系列(05):移动端自动化(一)——ARTEMIS 的双模式架构拆解
Google 开源的 ARTEMIS 让 AI 助手和测试套件像人一样操作真机。这篇先讲清楚它是什么、特色在哪,再深挖 Flash/Pro 双模式的图结构、'verify vs assert'的语法级区分、两层预执行安全网,以及最容易被忽略的一点——它给'元素定位'单独配了一个 Google 自研的具身推理模型 Gemini Robotics-ER,而不是让通用 VLM 顺手做定位。这些技术点跟它宣称的 AndroidWorld 99%+ 到底是什么因果关系,这篇说清楚。
2026-10-07 20:06:20
478
原创 开源项目第229期:e2e — 用自然语言写 E2E 测试,还能把 Agent 跑过的操作录成‘回放缓存‘免模型调用
TesterArmy 出品的 Web/移动端端到端测试框架。核心创新:agent.act 用自然语言描述目标让 AI Agent 操作应用,agent.assert 用模型判断断言是否成立,而验证通过后的操作会被录制成回放缓存,后续运行无需模型调用直接重放,直到应用变化才让 Agent 重新接管
2026-10-07 19:58:56
371
原创 LLM 自动化测试系列(04):Web UI 自动化——Midscene 的视觉驱动脚本化
字节跳动开源的 Midscene 走的是纯视觉定位路线:不写 selector,直接把截图交给视觉模型,用自然语言描述'点击提交按钮'。这篇拆解它的三种模型角色分工(Default/Planning/Insight)、aiAct 的重规划循环、规划缓存与定位缓存各自的失效判定逻辑,以及跟 Stagehand 这类基于 DOM/无障碍树的方案比,鲁棒性和成本的权衡到底在哪
2026-09-26 16:58:14
355
原创 一天一个开源项目(第228篇):AX —— Google 开源的「Kubernetes for Agents」,用声明式 YAML 编排十亿级 Agent 任务
AX(google/ax)是 Google 开源的高吞吐声明式 Agent 编排运行时,目标是在单个集群里调度十亿级的自主 Agent 工作负载。它借鉴 Kubernetes 的心智模型,用 Task、Workspace、Model 三个核心原语描述 Agent 任务,底层跑在 Agent Substrate 沙箱之上,提供 kubectl 风格的 CLI(apply/get/watch/ssh/suspend/resume)
2026-09-26 16:52:45
369
原创 一天一个开源项目(第 227 篇):Strands Agents Harness SDK —— 从「手写 Agent 循环」到「一行代码拿到生产级 Agent」
Strands Agents(strands-agents/harness-sdk)是 AWS 团队开源的 Agent 开发 SDK,提供 Python/TypeScript 双语言实现。核心亮点是 Strands Harness——一个通过 create_harness() 单次调用即可组装出的"全副武装"生产级 Agent
2026-09-25 18:00:05
310
原创 LLM 自动化测试系列(03):单元测试生成——TestGen-LLM 与 Qodo Cover
让 LLM '随便写点测试',产出的往往是编译不过、断言写死 true、或者根本不提升覆盖率的垃圾测试。Meta 的 TestGen-LLM 论文给出的解法不是让模型变聪明,而是用一套机械化的过滤器把不合格的产出全部筛掉。这篇拆解这套过滤器的具体设计,以及它的开源实现 Qodo Cover 怎么把这套思路落地成可跑的 CLI 工具。
2026-09-23 19:08:02
475
原创 一天一个开源项目(第226篇):AIO Sandbox —— 把浏览器、Shell、文件、MCP、VSCode 塞进同一个容器的 Agent 沙箱
AIO Sandbox(agent-infra/sandbox)是一个"全能型" AI Agent 沙箱环境,用一个 Docker 容器统一了浏览器自动化、Shell 终端、文件操作、MCP 服务和 VSCode Server,核心是一套跨工具共享的统一文件系统
2026-09-23 19:04:29
307
原创 一天一个开源项目(第225篇):NanoJev —— 一个 0.6B 的并行决策模型,让 LLM 直接输出概率分布而不是生成 Token
NanoJev 是 Jev 并行决策模型系统的轻量复刻版,基于 Qwen3-0.6B 骨干网络附加决策头,输入状态和问题,直接输出完整概率分布,零输出 Token 解码。支持动态选择、布尔判断、有序评分三种决策类型,在迷宫导航和 Snake 游戏基准上验证了效果
2026-09-22 21:03:28
280
原创 LLM 自动化测试系列(02):统一技术底座——视觉定位 / DOM 语义化 / Computer Use
同一个'找到提交按钮'的任务,不同的开源项目给出了三种完全不同的技术路线:专用视觉定位模型、DOM/无障碍树结构化理解、纯坐标点击的 Computer Use
2026-09-22 20:59:03
399
原创 LLM 自动化测试系列(01):为什么测试是 LLM 落地的新战场
传统自动化测试有三个老问题:脆弱定位、oracle 问题、维护成本,而且这三者会互相加剧。这篇是系列开篇,讲清楚这三个问题的本质,以及为什么测试恰好是 LLM Agent 落地里少见的'有明确对错标准'的场景。后续 13 篇会逐一拆解代表性开源项目的具体解法。
2026-09-21 21:30:07
315
原创 一天一个开源项目(第224篇):ARTEMIS —— 谷歌开源的移动端 AI 自动化框架,让 AI 助手像人一样操作手机
ARTEMIS 是 Google 开源的 Android 自动化框架,把自然语言指令转化为可靠的移动端自动化操作。提供 Flash(快速反应式)和 Pro(多智能体规划验证)两种执行模式,通过 MCP 协议与 Claude Code、Antigravity、Codex 等 AI IDE 原生集成,在 AndroidWorld 基准测试中达到 99%+ 任务完成率
2026-09-21 21:23:49
300
原创 一年前没启动 AI 提效的团队,今年在付什么钱?
写给还没启动 AI 提效的团队负责人:不做会怎样、做了能得到什么,先看清三件事,再学会一套 ROI 口径
2026-09-20 22:12:49
822
原创 一天一个开源项目(第223篇):TeamAI-CLI —— 腾讯开源的团队级 AI Agent 中间层,让每个人的 AI 能力变成团队共享能力
TeamAI-CLI 是腾讯开源的团队协作中间层工具,不是又一个 AI 编程助手,而是让 Claude Code、Codex、Cursor 等已安装的 AI 工具共享技能、规则、知识库的元管理系统
2026-09-20 20:15:32
172
原创 开源项目第222期:security-audit — Cloudflare 的安全审计 Skill,把 Coding Agent 变成六阶段安全审计器
Cloudflare 出品的 coding-agent skill,把编程 Agent 变成安全审计器。六阶段流程:侦察、覆盖率导向的漏洞狩猎、候选独立验证、结构化输出、记录独立核实、目标中立报告。核心设计:对抗性验证(检查者≠发现者)、机器可读的 findings.json + 零依赖校验器、多轮运行覆盖率递增。
2026-09-19 20:14:41
327
原创 DeepSeek Harness 系列(10):写一个完整的 dsh 插件——从需求到上线
把前九篇学到的所有机制——工具注册、提示词段落、事件监听、Session 观测、权限拦截——组合进一个完整的生产级插件,看清楚一个真实 dsh 插件的骨架是什么样的
2026-09-18 20:49:13
502
原创 一天一个开源项目(第221篇):Coder —— 自托管云开发环境,也是给 AI Agent 一间安全的工作室
Coder 是自托管的云开发环境平台,用 Terraform 定义工作区,支持 AWS/Kubernetes/Docker 等后端,把开发者上手时间从数天缩短到数秒。近年新增 AI Agent 委托能力——Agent 循环运行在控制平面而非工作区内,配合 AI Gateway 实现集中化模型治理、成本追踪和审计
2026-09-18 20:44:47
336
原创 一天一个开源项目(第220篇):WeKnora —— 腾讯开源的企业级知识框架,从 RAG 问答到 Wiki 自进化
WeKnora 是腾讯开源的 LLM 知识框架,融合 RAG 快速问答、ReAct 智能体多步推理和 Wiki 模式自动生成互联知识库三大能力,支持 20+ LLM 提供商、10+ 文档格式、企业级多工作区 RBAC,是微信对话开放平台的核心技术底座
2026-09-17 19:50:34
197
原创 DeepSeek Harness 系列(09):可观测性——怎么知道 Agent 在干什么
Token 消耗多少?哪步最慢?出错了在哪里?这篇文章讲 dsh 的可观测性机制:Session 事件日志、Token 计量、遥测 Seam(ctx.sessionTelemetry)、OpenTelemetry 接入,以及如何用 session/event 监听做实时调试
2026-09-17 19:46:21
445
原创 DeepSeek Harness 系列(08):多 Agent 协作——Subagent 与 Agent Teams
一个 Agent 调用另一个 Agent,结果可以是文本,也可以是结构化 JSON。这篇文章讲 dsh 的多 Agent 机制:Subagent 的启动、可继续子 Agent、工具过滤、Persona、以及实验性的 Agent Teams
2026-09-16 21:10:00
449
原创 一天一个开源项目(第219篇):Openship —— 自托管部署平台,把 Vercel 的体验搬到你自己的服务器上
Openship 是一个开源可自托管的部署平台,push 代码即自动构建、部署、路由、签发 SSL 证书,内置数据库、邮件服务器和备份,支持桌面应用 / Web / CLI / MCP 四种操作方式,无厂商锁定,删除项目后容器仍在运行
2026-09-16 21:03:24
234
原创 一天一个开源项目(第218篇):Homepage —— 给你所有自托管服务配一个优雅的统一面板
Homepage 是一个现代化、高度可定制的自托管服务仪表盘,用 YAML 配置服务分组、书签和 Widget,支持 Docker Label 自动发现容器、150+ 服务 API 集成、40+ 语言本地化
2026-09-15 20:12:28
318
原创 DeepSeek Harness 系列(07):能力 Seam——换一行配置,能力全换
为什么 dsh 不直接 import fs?为什么 Shell 执行可以一键切到远程沙箱?这篇文章讲 dsh 的能力 Seam 设计:Service Definition / Provider / Consumer 三角色,以及 ctx.fs、ctx.sandbox、ctx.shell、ctx.llm 这些核心 Seam 的实际用法
2026-09-15 20:07:45
377
原创 DeepSeek Harness 系列(06):System Prompt 组装——动态提示词的工程实现
每次模型请求前,dsh 是怎么把几十个插件的提示词片段拼成一个完整的 system prompt 的?这篇文章拆解 ctx.systemPrompt 的注册机制、段落排序、动态变量、工具 schema 自动注入,以及 Prompt Caching 怎么用
2026-09-14 22:02:18
395
原创 一天一个开源项目(第217篇):free-for-dev —— 137k Star 的开发者免费服务终极宝库
free-for-dev 是 GitHub 上排名最靠前的资源类仓库之一,收录了 60+ 大类、数百项提供真正免费层级的 SaaS/PaaS/IaaS 服务,从主流云平台到 CI/CD、数据库、AI 工具、认证服务一网打尽
2026-09-14 21:58:00
191
原创 一天一个开源项目(第216篇):OpenViking - 给 AI Agent 装上可自进化的上下文数据库
OpenViking 是火山引擎开源的 AI Agent 上下文数据库,用虚拟文件系统统一管理 Agent 记忆、知识 RAG 和技能,让 Agent 在跨会话中积累经验、自主进化
2026-09-13 21:12:19
375
原创 DeepSeek Harness 系列(05):Session 与记忆——对话历史是怎么活下来的
Agent 崩溃了怎么办?换一个进程历史还在不在?想从某一步回头重试可以吗?这篇文章拆解 dsh Session 的设计:仅追加日志、派生历史、格式版本、Fork 机制,以及为什么模型永远不会看到「脏」的失败尝试。
2026-09-13 21:08:26
762
1
原创 DeepSeek Harness 系列(04):Agent Loop——一次对话是怎么跑起来的
用户发了一条消息,Agent 回复了一段话并调用了三个工具——这背后到底发生了什么?这篇文章完整拆解 dsh Agent Loop 的运行机制:Turn 与 Step 的结构、驱动器怎么工作、每个扩展点的用途,以及你能在哪里插入控制逻辑
2026-09-12 19:21:13
520
原创 一天一个开源项目(第215篇):Langflow - 可视化拖拽构建 AI 应用的低代码平台
Langflow 是一个基于流程图的低代码 AI 应用构建平台,用拖拽方式将 LLM、向量数据库、工具、Agent 连接成完整的 RAG 流水线或多 Agent 系统,让不懂后端的人也能构建生产级 AI 应用。
2026-09-12 19:17:54
76
原创 一天一个开源项目(第214篇):AstronRPA —— 科大讯飞开源的企业级 RPA + AI Agent 自动化平台
AstronRPA 是科大讯飞开源的企业级桌面 RPA 平台,300+ 预置组件覆盖浏览器、GUI、Excel/Word/PDF、图像识别、AI 服务,与 Astron Agent 双向集成实现"推理决策 + 机器人执行"闭环
2026-09-11 20:12:38
199
原创 DeepSeek Harness 系列(03):工具系统——给 Agent 装上手
工具是让 Agent 不只是「会说话」的关键。这篇文章深入 dsh 工具系统的全部机制:从注册、类型推断、Schema 生成,到三阶段执行流水线(pre-execute / execute / post-execute),再到权限审批和 Scope 隔离。读完你能写出一个生产可用的自定义工具
2026-09-11 20:06:13
477
原创 DeepSeek Harness 系列(02):万物皆插件——Cordis 核心设计深度解读
dsh 的所有能力都建立在 Cordis 插件框架之上。这篇文章结合真实源码,深度解读 Cordis 五个核心机制:Plugin、Context、Service、Event、Effect——每个机制讲清楚「是什么、怎么用、为什么这么设计」。读完之后,dsh 的一切都会豁然开朗。
2026-09-10 20:53:15
562
原创 一天一个开源项目(第213篇):public-apis —— 474k Star 的免费 API 终极清单
public-apis 是 GitHub 上 Star 数排名前三的仓库,收录了 1400+ 个免费公开 API,涵盖 50+ 个大类,从动物图片到金融数据、从区块链到气象服务,按认证方式、HTTPS 支持、CORS 策略分类标注
2026-09-10 20:30:21
322
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅