测试开发技术

我的看法，工具可用可不用，思路可以学走。一条是「让 AI 只想一次」。回放机制把模型调用从每次执行都付钱，变成只有变化才付钱，这个账任何用 AI 做测试、做自动化的团队都算得过来。就算你不用 e2e，自己给 agent 步骤加一层动作缓存和回放，收益立竿见影。另一条是「混合比纯血好用」。确定性断言保住 CI 的稳定，agent 步骤吃掉写不出 selector 的那部分界面，两边各干各的活。纯脚本和纯 agent 都算走极端，中间那块才是大多数项目真正的落点。项目地址放这，感兴趣的自己翻。

如果让我现在从零搭一套移动端自动化，工具箱大概是这样的，主力 Appium 跑跨端回归，发版前挂 Fastbot 智能遍历一晚上，游戏项目加一套 Airtest，设备不够就 STF 自建农场，再租云真机补机型。想说的是，移动端自动化没有银弹，按场景拼工具箱，比追单一大框架实在。别再无脑 All in Appium，原生团队用 Espresso 加 XCUITest 更快更稳，预算少人手少的团队，Maestro 十分钟能见效。

翻了下日历，ARTEMIS 开源到现在，才一个半月。一个半月，一万多 star，谷歌官方出品，MCP 原生，AndroidWorld 榜首。这几件事凑在一起，基本可以确定，自然语言驱动真机这件事，接下来一年会有一大波跟进者。被改写的先是入门路径。以前学 UI 自动化，先啃定位器，再啃等待，再啃框架 API，一套下来仨月。以后的第一行用例，可能就是一句中文的测试描述。工具一直在换，怎么证明它是对的，这个活一直都在。

这两年想给 Web 自动化挑个工具，比以前要难了。以前好办，无非在几个老框架里挑，挑来挑去最后无非也就 Playwright 和 Selenium 两派。现在打开任何一份工具清单，一半以上是带 AI 特性的新面孔，腾讯、微软、亚马逊都在往里挤，开源的工具，star 涨得一个比一个快，比如，腾讯 6 月放出来的 BrowserSkill，三个月就冲到七千多star了。变化最大的点是 Coding Agent 出来之后，工具的用法跟着变了。

之前有人问我，你天天说的 Agent Skill 到底是啥，你平常有用哪些呢？关于Agent Skill介绍，如果还不清楚的，可以看看之前公众号发表的这篇我平常在用的 Skill 种类有很多，办公提效、创作类、工作流相关的，零零散散加起来不少，后面有机会再给大家分享。今天单独说一说与软件测试强相关的。文末有Skill获取方式。先给一张Skill全景清单。25 个 Skill 按流程分三组，需求与用例设计 6 个，接口自动化 10 个，UI 自动化 9 个。

代码能力仍要，这条绕不过去。Java、Go、Python 挑一门，至少能读别人的代码，能重构，能独立交付一个模块，算法和系统设计是转研发面试的硬门槛，虽然AI都能帮你做这些，但人学习，重点是要学习代码算法和架构的逻辑思维。在现在的岗位上就可以开始，质量平台、测试工具、CI/CD 流水线，会点页面的人到处都是，能把工具建起来的人不多，这些项目经验是转岗面试时最硬的筹码，也是当下证明价值最直接的方式。窗口期大概率就这一两年，主动补能力的人，留在原序列还是转过去，都有的选，等公司替你做决定的时候，选项就不多了。

本文详解大厂秋招新兴的AI Coding笔试：不考手写代码，而考需求理解、任务拆解、Prompt设计、AI协作与工程交付能力。通过六步实战法（分析→分轮实现→精准调试→自造测试→逐条验收→AI自审）及高频避坑指南，助你从“AI使用者”升级为“AI项目经理”。

本文揭示AI时代测试工程师“越忙越累”的真相：研发、产品等岗位因AI大幅提效，而测试却成瓶颈——AI擅长“迎合”，测试重在“挑刺”；产能翻倍导致被测物激增，验证环节却难以规模化。文章呼吁理性设定AI提效目标，尊重测试在质量兜底中的不可替代价值。

大家好，我是狂师。今天咱们来聊一个大家都非常关心的话题。这两年 AI 编程火得不像话，会写代码的人天天用，不会写代码的人也开始拿它做东西。八岁小孩都能用 AI 做出游戏了，不会编程的设计师上线了自己的产品，一个人加一堆 AI 就是一家软件公司。然后一个问题被顶到了很多人面前，尤其是正在学技术的人面前。我本身也是做技术知识分享的，这两年这个问题被问过很多次，问的人里有想转行做测开的，有在校的学生，也有干了几年开始慌的在职测试工程师。

大家好，我是狂师。事情是这样的，最近群里在聊一个老话题，Agent 什么都行，一到「去网站上帮我看看」就歇菜。页面是动态渲染的，curl 拿到一坨壳。数据要登录才能看，无头浏览器里 session 又不延续。好不容易进去了，Cloudflare 一个挑战页甩脸上。Static page还好，现在稍微像样点的网站，反爬、验证码、登录态，三道墙至少撞上一道。Agent 缺的其实就一样东西，一个能感知真实在跑的浏览器。

经常有人让我帮忙推荐压测工具，我的答案一直是，先看你会不会写代码。会写的，直接上 k6 或者 Locust，脚本进 Git、场景可评审、结果可复现，这是性能测试工程化的正路。不会写的，JMeter 依然是最稳的起点，别硬着头皮上代码系工具，工具的别扭会盖过测试本身。有两个容易被忽略的点。轻量 CLI 是宝藏，wrk 和 Vegeta 五分钟就能给服务摸个底，真正的大规模压测再上平台，别什么事都兴师动众。

最后说句实在的。自动化测试从来不难在技术，它难在一笔长期主义的账，要在一个按月看结果的生意里算平。AI 没有让自动化变简单，它让自动化的账单，终于算得过来了。剩下的，就看你想不想算了。

翻完这 30 款，最直观的感受是节奏。Meta 一年三代连发把榜首抢了，OpenAI 用一个 GPT-6 带着一串 5.x 变体铺满中间段位，Google 靠 Flash 系两三个月一更走量，头部四家各走各的路。国产这边值得多说一句，Kimi K3 和 GLM-5.3 双双进了前十，Qwen 和 DeepSeek 稳在第二梯队，和海外的差距从名单上看已经不明显了，加上价格普遍只有海外同档的几分之一，实际用起来的性价比很突出。

本文深度剖析团队自动化转型的底层逻辑：指出失败主因常是目标错位与管理缺位，而非技术本身。强调“三分技术、七分管理”，主张先对齐业务目标、小步试点、建立闭环与规范，并结合AI提效——但须严控生成质量与维护闭环。核心是将自动化打造成可持续演进的测试资产。

本文系统提出UI自动化测试执行阶段的AI赋能方案，针对“跑测试难、失败诊断难、修复效率低、报告手工拼”等五大痛点，设计5个专业Agent Skill（标签管理、智能执行、失败诊断、报告生成、流程编排），以职责分离、闭环衔接、灵活复用为原则，实现从脚本标签化到可视化报告的全自动链路，大幅提升测试执行效率与质量可控性。

但业务一复杂，特别是诸如管理后台这类，光开关就有几百个，金融计费、库存扣减、订单状态流转，还有十年老系统里那些没写在任何文档里的隐藏规则，这些知识根本不在 AI 的脑子里，在老员工的脑子里。他甚至没意识到，AI 是在拿通用知识猜他的业务，猜中是运气，猜错是日常，而且猜错的部分，长得特别像对的。会用的同学，把需求拆成小块一点点喂，把团队的历史坑、业务规则、边界条件全部交代清楚，出来的东西自己先过一遍，改完再验。很多团队用 AI 用得风生水起，基本都赢在这类场景，他们的「AI 真香」，是真的。

阿里开源的 skill-up 是首个专为 Agent Skill 设计的评测与演进工具，将软件测试方法论完整迁移：支持多引擎运行、声明式 YAML 用例、规则/脚本/LLM 三类断言，并内置自动修复与回归闭环。本地可跑，CI 可集成，让 Skill 质量可度量、可保障。

这条路线用 CC BY-NC-SA 协议开源，个人学习、博客署名转载都随意，注明出处就行。拿去开付费专栏、做收费培训，协议不允许，看到了会维权。一个人的精力有限，内容难免有不足，路线会持续更新，也欢迎提 Issue 和 PR 一起共建。项目开源地址: https://github.com/zhoujinjian/ai-testing-guide如果这条路线对你有帮助，去 GitHub 给个Star⭐️，你的认可是持续更新的动力。

这个系列一直在做一件事，用 Agent Skill 把 UI 自动化测试的各个环节逐个自动化。到上一篇为止，环节级的 Skill 都齐了。执行有证据，失败有结论，报告有判断，单点能力全部到位。缺的是一个把它们串起来的东西。什么时候执行、失败了要不要诊断、修完要不要重跑、重跑几轮、结果怎么算，这些环节之间的决策，之前都靠人临场判断。所以这个系列收官的一篇，我做了，一个全链路统一编排的 Skill。它不当球员，只当指挥，把前面几个 Skill 编排串联成一条自动化流水线。

狂师推出`ui-report-generator`智能技能，一键将UI测试执行结果、失败证据、诊断结论与历史数据融合生成单文件HTML可视化报告。支持多维统计、风险分级、证据内联、Trace回放及趋势分析，3分钟读懂质量状况，让测试价值真正被看见。

狂师推出「ui-failure-diagnoser」AI技能，自动诊断UI测试失败根因（环境/定位/超时/数据/脚本/缺陷），智能修复并验证，全程留痕、分类统计、报告可溯。告别手动排查红条，让失败变成可分析、可治理的质量数据。

智谱推出ZCode智能体开发环境，与旗舰模型GLM-5.3深度协同，实现“原生模型+原生Agent”高效配合。实测显示，ZCode提升任务通过率2.39%，缓存命中率超98%，显著降本增效。零配置、多平台、支持SSH/Docker，真实项目重构验证其开箱即用与工程落地能力。

《测试不是越多越好，关键在于精准命中高风险点》 文章通过一个案例揭示测试误区：某团队写了3000条测试用例，代码覆盖率达95%，但上线后仍出现重大Bug。作者指出，覆盖率仅反映代码是否被执行，而非逻辑是否正确。过度追求覆盖率会导致资源浪费，而忽视真正的高风险场景。 核心观点包括： 覆盖率的局限性：高覆盖率不等于低Bug率，需区分代码重要性，优先保障核心逻辑。 风险驱动测试：根据Bug概率和影响排序，集中资源测试关键路径（如支付链路），而非低风险代码（如日志脚本）。 高效测试策略： 从线上故障中提取用例；

测试工程师在使用AI工具时存在三类常见误区：一是AI确实无法胜任的业务断言、异步链路验证和性能根因分析等复杂场景；二是因自身技能不足导致AI工具使用不当，如元素定位和测试数据生成问题；三是半吊子水平导致AI时灵时不灵。作者指出，AI在业务规则清晰时能生成精准测试数据，在应用可测性完善时能稳定定位元素，但需要工程师提升Prompt编写能力和基建水平。关键在于区分AI的能力边界，避免盲目甩锅或过度依赖。

本文提出“4+1 Agent Skill”架构，以AI赋能UI自动化全流程：ui-page-parser解析页面、ui-testscript-generator生成脚本、ui-testscript-enhancer增强健壮性、ui-visual-assert实现视觉断言与多端适配，可选ui-auto-maintainer支持智能自愈。告别“写3天修2周”，用专业分工替代万能技能，大幅提升效率与可持续性。

UI自动化测试中DOM断言存在局限性，无法检测样式和布局问题。本文介绍了ui-visual-assert技能，通过视觉断言解决这一问题。它能在功能断言基础上增加三大维度的视觉校验：整页/局部截图比对、响应式布局适配（支持多分辨率）和跨浏览器兼容处理（Chromium/Firefox/WebKit）。该技能自动扫描脚本，生成视觉断言代码、响应式fixtures和浏览器配置，最终输出包含视觉测试模块的增强脚本。相比传统DOM断言，它能发现样式错乱、布局偏移等视觉问题，使UI测试从功能验证升级为全维度校验，显著提

UI测试脚本健壮性增强方案 针对UI自动化测试脚本在CI环境中不稳定问题，本文提出通过ui-testscript-enhancer技能实现脚本健壮性增强。该方案从六大维度进行加固：1）智能等待替换硬编码sleep；2）自动处理弹窗干扰；3）支持iframe/Shadow DOM穿透；4）异常重试与容错机制；5）失败时自动截图录屏；6）验证码自动识别方案。通过AI扫描分析基础脚本，自动补全生产级测试所需的稳定性逻辑，将"能跑"的demo脚本升级为可在CI环境中稳定运行的可靠脚本，解决偶发失败、环境差异等

本文介绍了UI自动化测试脚本生成工具ui-testscript-generator，旨在解决传统UI自动化测试中脚本编写的高耗时问题。该工具基于标准化页面定义文件pages.yaml和业务测试用例，自动生成页面对象模型（POM）、测试脚本及测试数据，覆盖正向、边界值、异常和安全测试场景。通过智能构造测试数据、封装原子操作和组合操作，并固化团队框架规范，显著提升脚本编写效率，减少人工重复劳动，生成可直接运行的完整测试工程。实操演示展示了从输入到生成项目结构的全流程，最终输出符合分层设计的标准化代码

UI自动化测试长期面临元素定位困难、脚本脆弱、维护成本高等痛点。本文提出用AI技能链（ui-page-parser等）实现全流程自动化，核心思路是"AI解析+人工校验"。重点介绍了首环节ui-page-parser的能力：自动遍历全站页面（含认证页）、智能推导定位策略、结构化提取元素信息（含交互链路/状态迁移）、生成标准化pages.yaml文件。该方案使传统需3-5天的人工元素抓取工作缩短至分钟级，并为后续脚本生成、视觉断言等环节奠定可靠基础

这篇文章探讨了AI Agent评测体系的构建问题，指出传统软件测试方法不适用于非确定性输出的AI系统。作者提出了五步评测框架：明确评测目标、构建高质量数据集（优先使用真实失败案例）、采用多维度打分机制（代码评判优先）、通过transcript分析失败原因、建立生产环境闭环反馈。文章强调评测体系的核心价值在于形成持续改进的循环，而非追求完美初始方案，建议从简单实用的方法入手，逐步优化。关键点包括：区分模型评测与产品评测、独立评估各质量维度、重视真实用户反馈数据，以及评测与训练过程的协同优化。

没有评测体系的 AI 产品迭代是什么状态？更新不知道变好还是变坏，出了问题永远要等用户投诉，复现之后才能修掉，然后祈祷没有引入新的问题。大模型和传统软件有一个根本不同：传统软件是确定性的，同样的输入永远给同样的输出。大模型不是——每次输出都不一样，你改任何一个地方，影响都是发散的。评测要做的事，就是在这个概率系统上建一套闭环机制，让你对系统的每次修改，都有迹可循、有据可查。

测试行业有句老话：“自动化测试的最高境界，不是工具多强，而是流程多顺。阶段Skill解决的问题① 打标让脚本可分类、可筛选② 执行让脚本能"听话地跑起来"③ 自愈让失败能自修复④ 清理让数据能自动清⑤ 报告让报告能自动出、能驱动决策⑥ 编排让以上所有，一键串联每款 Skill 各司其职，编排层统一调度——这就是 Agent Skill 体系的完整形态。它不会替代你的测试策略，不会替代你的业务理解，更不会替代你对质量的整体把控。它只是把你从反复手动调用工具、机械执行调度、繁琐的结果整理。

Appium 你用了多少年？它从 2013 年到现在，12 年了。12 年里，移动端自动化测试的格局基本没变——Appium 统治一切。但说实话，。写个测试脚本，要找元素 ID、写 XPath、处理弹窗、适配各种屏幕。脚本写完比业务代码还长，UI 一改全崩。12 年了，一直如此。直到最近，我发现了一个开源项目——

自动化测试的最高境界，不是工具多强，而是流程多顺。api-pipeline-scheduler 解决的就是这个核心问题——让多个独立 Skill 从"散装工具"升级为"流水线闭环"。阶段Skill解决的问题① 执行让脚本能跑起来② 自愈让失败能自修复③ 清理让数据能自动清④ 报告让报告能自动出⑤ 编排让以上所有，一键串联每款 Skill 各司其职，编排层统一调度——这就是 Agent Skill 体系的完整形态。它不会替代你的测试策略，不会替代你的业务理解，更不会替代你对质量的整体把控。

测试报告的价值，不在于展示数字，而在于驱动决策。解决的就是这个核心问题——让报告从"数据堆砌"升级为"决策支撑"。它不会替代你的测试结论判断，不会替代你的风险评估经验，更不会替代你对业务价值的理解。它只是把你从手写报告格式、整理数据、做 PPT的重复劳动中解放出来，让你把精力聚焦在更有价值的事情上——深度分析质量趋势、挖掘潜在风险、推动质量改进。高质量的测试报告，应该能回答这些问题哪个模块风险最高？是否需要加测？哪些用例经常失败？是否需要优化？覆盖率是否在提升？缺口在哪里？

测试行业有句老话：“自动化测试的三座大山——跑起来、看明白、修得快。解决的就是最难的那座——修得快。它不会替代你的故障分析经验，不会替代你对业务逻辑的理解，更不会替代你对产品质量的判断。它只是把你从逐条翻日志、手写修复代码、反复验证的循环中解放出来，让你把精力聚焦在更有价值的事情上——复杂故障深度分析、产品质量策略优化、自动化体系持续改进。AI 仅仅只是为了简化或者辅助人工排障，复杂的故障分析仍需要人工介入和人工经验。

文章介绍了一款名为api-test-executor的Agent Skill，旨在简化接口自动化测试的执行流程。该工具具备三大核心功能：一键触发测试执行、支持自然语言和标签筛选测试范围、结构化收集测试结果。其亮点包括：1）通过自然语言交互降低使用门槛；2）多维筛选机制（标签/文件/语义）精准定位测试范围；3）输出标准化JSON和可视化报告；4）明确的能力边界设计保障稳定性；5）可独立使用或接入测试流水线。典型使用场景覆盖日常冒烟测试、版本回归、模块调试等需求，特别适合已有pytest脚本的测试团队提升

AI 如何真正走进测试设计环节，而不只是停留在 Demo；企业级 AI 测试系统到底该怎么建设、怎么长期维护；模式在测试领域如何真正落地；如何在效率、质量与安全之间，找到企业真正敢用的平衡点。欢迎加入「狂师.AI 进化社」，我们一起交流、实战、共同把 AI 测试这件事做深做实。762357658我们很期待和更多真正关心 AI 测试落地的人，一起把这件事做深、做实。

首先，咱们先谈概念，Skill翻译成中文就是“技能中文对于“什么是技能？技能就是你执行某件事的方法论。举个生活中的例子：我会打羽毛球。当球飞过来，我拿起球拍，在合适的时机、用合适的力度击球，让球准确落在对方场地，这一整套操作逻辑，就叫“技能”。你会骑自行车，你会做饭，完成这些事情的整套操作逻辑，都是一项项技能。在 AI 界，最早是由 Anthropic官方 推出的 一套AI 技能系统，它定义了一种封装 AI 工作流的标准。开发者可以把复杂的任务指令、脚本和资源打包成一个技能（Skill）

AI 技术的迭代速度太快了，短期的集中学习，往往只能触及技术的皮毛。即便是我已经学习了几年，我也不敢夸大其词，说我已经是 AI 专家了——想要跟上行业浪潮、真正实现 AI 能力跃迁，长期深耕才是唯一的路径，没有所谓的捷径、速成。至于为什么是 5 年，而非 1 年、3 年或 10 年？坦白说，这个周期我在设定的时候，并没有客观的量化依据，更多是源于过往的行业经验。顺应时代大势AI 的重要性不言而喻，正如当年的互联网普及一样，它正呈井喷式爆发。未来几年，各行各业都会迎来 AI 驱动的重构与升级。