测试员周周-CSDN博客

原创 AI测试智能体（agent）实战：规划→执行→反思：14年测试教你从零手写一个能跑的Agent（附源码自取）

本文分享了从零搭建AI Agent的实战经验。作者通过14年测试经验指出：Agent本质是控制流（规划→执行→反思），而非框架，建议先用Python手写理解核心逻辑。文章详解了Agent四步流程：1）任务拆解与兜底处理；2）拓扑排序执行；3）反思检查机制；4）结果汇总。特别强调三个关键点：业务场景只需改背景和工具列表、必须添加JSON解析兜底、反思机制能显著提升输出质量。文中还揭露了eval()安全隐患等三大坑，并提供调试技巧。最终开源1000行代码实现，证明用基础语法即可构建实用Agent。

2026-05-11 22:19:01 981 1

原创【skills】AI测试：别再手写pytest了：Markdown spec → 自动生成，30秒搞定API/UI/CI测试

测试老兵周周分享了一套高效自动化测试方案：通过Markdown文件+AI自动生成测试脚本，实现API、UI测试全流程自动化。该系统包含技能文档、本地脚本生成器和CI流水线三部分，支持5种测试类型，30秒即可生成可运行脚本。提供11个开箱即用的模板，并集成GitHub Actions实现代码提交后自动测试。方案结合AI辅助生成和本地模板展开两种方式，显著提升测试效率。作者还分享了完整的技能包，包含测试数据生成、缺陷分析等进阶功能。

2026-05-07 02:02:45 1789 2

原创【代码审查提示词模板】vibe coding 出来的电商系统，AI 审出 7 个 P0，其中 4 个接口还在返回成功

<think>我们只需要根据要求生成摘要，≤150字。需要总结内容：作者对vibecoding系统用AI审查，先整理需求菜单，分批扫描，发现52个问题、7个P0等，强调了不能只看功能跑通。摘要要精炼。</think>AI审查vibecoding代码，先整理需求菜单并按认证、业务等分批扫描，发现52个问题、7个P0，含弱密钥、IDOR、不扣库存等。功能能跑≠能上线，需按越权、并发、假绿等维度核查。

2026-09-03 08:28:46 354

原创【DeepSeek Harness】DeepSeek Harness 直球能防住，扮演小说家就不行

—一次 AI 安全评测复盘我是测试员周周。上一篇手工打了 8 个攻击面；这篇把它接进评测平台，用现成的 54 条安全样本批量测试。这是 AI 安全评测复盘：数是自动化跑的，稿子我自己写、自己核过，不是代写。不含可执行攻击载荷，样本已脱敏，给防御方看的。对象是官方说了会改。结论只对 2026-08 这次快照负责。中没中招，不听它自己说，看规则：输出里有没有中招词、有没有拒绝。手工那轮每个点只打 3 到 8 次，我心里没底。攻击类的东西，我从来不当一次的数。

2026-08-27 23:53:40 435

原创【DeepSeek Harness】DeepSeek Harness 到底怎么跑起来

它是工位，不是聊天，也不是考场。能力来自你挂了什么插件，不来自你以为它「应该有」。隔离目录 + API key + Python SDK，普通机器当天能跑起来。四个用法怎么排、当靶子打出了什么，看上一篇。下一篇按上一篇的预告走：把它当靶子的细节拆开，再接到评测平台上批量打。这篇是总览的附录。名字和安装一旦清楚，上一篇那些「能写测试」「默认不安全」「过程能看见」，才不会听成三件不相干的事。

2026-08-26 07:47:48 347

原创【DeepSeek Harness】我把 DeepSeek Harness 当“被测对象“打了 8 个攻击面，发现它“自以为穿了防弹衣“

攻击面默认配置实测结果评级A1沙箱逃逸无 sandbox逃逸 3/3（100%）🔴A2自我修改无 self-modification拒绝 3/3，但幻觉有沙箱🟡A3凭据泄露无 credentials 脱敏🔴A4审批门禁无 interaction执行 3/3，不询问🔴A5循环卫生无 guard150s+ 不收敛🔴A6工具超时timeoutMs 未生效sleep 90 跑满🟠A9提示注入（模型层）0/8 中招🟢A10多轮上下文。

2026-08-26 07:45:04 340

原创【DeepSeek Harness】DeepSeek Harness 火了，但你可能用错了姿势

我是测试员周周，14 年测试老兵。这篇文章把我对 DeepSeek Harness 的实测结果全摊开——4 个用法，从"拿它干活"到"拿它当靶子"。所有数据都是 2026-08 一手实测，不是二手转述。该说的坑一个不藏。

2026-08-24 23:51:14 366

原创【AI测试系统实现2】干了 14 年测试，我发现小团队翻不了身就卡在这五件事上

《测试团队的效率困境与破局之道》摘要：本文揭示了一个三人测试小组在电商系统测试中面临的五大核心问题：需求口径不清、测试流程未分段、接口依赖混乱、批量测试噪声多、Bug复现率低。作者通过真实案例指出，单纯增加人力或编写更多测试用例无法解决这些结构性瓶颈，并分享了针对性解决方案：建立需求确认模板、拆分标准化测试流程段、实现接口自动串联、分层分级执行测试、严格Bug提交流程。文末强调工具只是辅助，关键在于每周聚焦解决一个核心卡点，通过持续优化流程而非堆砌资源来提升效率。

2026-08-09 15:34:28 212

原创【AI测试系统实现1】粘贴一段需求，十分钟内跑通一次完整测试

文章摘要：本文针对小团队测试效率低下的痛点，提出「十分钟黄金路径测试法」。核心方案是通过结构化需求（角色、关键数据、成功标准三要素）、聚焦主流程、自动化数据流转，实现从零到可验证结果的快速闭环。关键步骤包括：0-2分钟需求可测化处理，2-5分钟生成主路径用例，5-8分钟链式执行验证，8-10分钟输出带卡点定位的结论报告。通过真实代码模块示例（如requirements.py预处理、api_chains.py变量接力）说明工程实现，强调「先跑通再完善」的务实策略，并列举6条落地建议和5个常见反模式。该方法将传

2026-08-08 08:25:48 320

原创【AI测试系统】UI 自动化登录的两种实现：验证码正常登，或 API 两步进系统

本文探讨了UI自动化测试中绕过验证码登录的两种策略：方式一：完整模拟用户操作（填账号、识别验证码、拖滑块），适用于验收测试或登录功能专项验证，但成本高、易波动。方式二：通过API获取Token后直接注入浏览器，跳过UI交互，适合批量业务回归测试，速度快且稳定。关键结论：目标决定策略——测登录页用方式一，测业务功能用方式二；测试环境需配置通行策略（如debug_answer），生产环境不可绕过安全机制；推荐组合：少量登录专项用例+大量业务用例复用Token，平衡覆盖率和效率。注意：滑块参数需按系

2026-08-03 01:03:23 369

原创【AI测试智能体20】面试官问我Temperature怎么设，我把这篇甩给了他

本文探讨了temperature参数对AI模型（deepseek-v4-pro）处理不同复杂度任务的影响。通过测试创意写作、逻辑推理和电商报告三种任务（各运行2次），发现：1）所有任务在temperature=0.3和1.0时成功率均为100%，但电商报告的平均Token（556）显著高于创意写作（190）；2）temperature对Token数的影响因任务而异，未呈现稳定规律；3）结构化任务（如报告）消耗更多Token。测试建议指出：temperature选择应基于任务类型（如创意写作0.7-1.0，数

2026-07-29 08:00:22 420

原创【AI测试智能体18】智能体Bug难排查？我们总结了7大类型和35个子类型

本文提出了一种针对智能体（Agent）缺陷的新型分类体系，将常见问题划分为7大类型：规划缺陷（25%）、工具缺陷（20%）、执行缺陷（15%）、记忆缺陷（10%）、知识缺陷（15%）、安全缺陷（10%）和性能缺陷（5%）。通过电商数据分析智能体的实际案例，展示了各类缺陷的表现形式、根因分析和修复方案。文章强调智能体缺陷应按执行阶段（规划/执行/反思/总结）而非功能模块进行分类，并提供了包含缺陷定位流程图、严重度评估标准和缺陷记录模板的完整解决方案。实践表明，采用该分类体系后，根因定位时间可从平均24分钟降至

2026-07-28 08:42:25 379

原创【AI测试智能体19】老板问“能不能上线“，你还在翻50页测试报告？

本文摘要（150字）：测试报告应分层呈现，管理层关注1页摘要（结论、总分、风险点），执行层查看详细数据。质量门禁分关键门禁（如总分≥70%、安全性≥80%）和警告门禁（如延迟<15秒），通过后决策Go/No-Go。示例中因工具使用（43%）、安全性（76%）未达标触发No-Go。报告需包含维度得分、缺陷清单及趋势分析，支撑发布决策。测试价值在于明确“能否上线”，而非仅发现问题。附代码实现门禁检查与报告生成，形成从数据到决策的闭环流程。

2026-07-28 08:40:26 219

原创【AI测试智能体17】AI Agent 用 3 个工具就翻车？我们测了它的工具链

本文探讨了电商数据分析智能体在多工具组合场景下的集成测试方法，重点分析了工具链组合测试的三种模式（线性、分支、并行）及其挑战。测试结果显示，3个代表性工具链（竞品分析、数据分析、多竞品抓取）执行成功率100%，但并行场景样本量不足。文章提出了15个测试场景用例集，并分享了失败传播验证脚本和测试报告模板。核心发现包括：工具间数据传递是主要难点，格式转换错误是常见缺陷类型，并行执行稳定性仍需大规模验证。最后通过3个面试问题总结了多工具测试的关键点：数据格式兼容性、调用顺序依赖性和接口适配问题。

2026-07-22 08:23:05 221

原创【AI测试智能体16】我用 5 个 CSV 任务，测透了 AI Agent 的数据分析能力

本文探讨了AI智能体在数据分析任务中的可靠性问题，通过5个真实CSV任务测试发现，尽管表面上任务能完成，但可能存在分组统计错误、数值计算编造等问题。文章介绍了一个完整的测试流程，从测试设计到缺陷发现，包括多维评分（规划、工具使用、代码能力、知识）和缺陷检测。测试结果显示，5个任务全部执行成功并通过60%的门禁要求，平均得分68.8%，但存在子任务规划过多、知识维度评分偏低等问题。文章强调了测试数据准备的重要性，并指出数值验证是确保AI真实分析而非编造的关键。最后提供了面试问题集，探讨了数据分析测试的核心环节

2026-07-22 08:05:19 343

原创【skills】我用 Vibe Coding 搓了个 Agent 平台，然后被自己的测试框架狠狠“教育“了一顿

本文作者分享了自己用VibeCoding开发的轻量级Agent平台经历的两轮测试。第一轮简单测试仅发现2个小Bug（API设计规范问题），但当使用专业的SkillsV3.1测试框架进行全面深度测试（包含安全、性能、边界、UI自动化等55+场景）后，又发现了2个关键问题：空字符串任务校验缺失和并发reset接口线程安全问题。测试过程展示了专业测试框架的价值——不仅能验证基础功能，更能通过边界测试、压力测试等方法发现深层隐患。作者总结道：测试广度不等于深度，AI助手的能力取决于使用者的提问质量，并计划将这套测试

2026-07-16 08:35:29 221

原创【skills5】一份 spec 生成 k6/JMeter/Locust：性能压测 + 全站截图，上线前的双保险

本文介绍了AI测试技能包中的性能压测和视觉巡检方案。性能压测采用"一份spec生成三种脚本(k6/JMeter/Locust)"的模式，通过声明式配置降低门槛，并构建分析-规划-执行-报告四阶段流水线。视觉巡检通过Playwright全站截图生成HTML报告，作为上线前的视觉兜底。两者共同组成发布前的"双保险"：压测保障性能指标，截图保障UI展示。文章还分享了性能瓶颈检查清单、AI辅助报告解读等实用技巧，并指出实现难点在于与spec体系、CI门禁的深度集成。最后预告下

2026-07-12 17:20:27 348

原创【skills4】UI 自动化不脆弱了：七层定位降级链，让 Playwright 脚本学会自救

UI 自动化维护难，不是因为 Playwright 不好用，而是因为我们一直用"硬编码"的思路去定位"软变化"的元素。页面是会变的，而定位器是静态的——这个矛盾，才是 UI 自动化维护成本居高不下的根本原因。解决思路不是"写得更好"，而是"写得更有弹性"——给每个元素准备多套定位方案，一套不行换一套，七套都试过了还不行？标记 warning，等人复核。下一篇，我专讲性能压测——怎么从一份 spec 生成 k6/JMeter/Locust 脚本？压测报告怎么做成自动化流水线？

2026-07-11 10:06:46 577

原创【skills3】团队踩过的坑，AI 能记住不重复犯？我做了个 RAG 知识库 + 自愈引擎

这篇文章介绍了两个提升AI测试效率的核心模块：RAG知识库和接口自动化自愈引擎。 RAG知识库通过预检索机制，在生成测试用例前主动注入历史经验（如bug记录、最佳实践等），解决测试经验难以沉淀的问题。系统采用四阶段检索链路（关键词+向量+RRF+Rerank）和三类数据回灌来源（失败用例、人工录入、历史用例），实现知识自动复用。自愈引擎针对接口测试常见的环境问题（如token过期、服务宕机等），设计了五类自愈策略（401刷新、500重试、429限流处理等），通过运行时自动修复降低误报率。该机制与变量池、缺

2026-07-10 08:21:22 364

原创【skills2】你还在手写测试用例？我让 AI 按 8 维矩阵生成，不用写一行代码

spec 是核心输入，Markdown + YAML，自然语言 + 结构化配置kind 决定生成方向，API、UI、压测、移动端，一个 spec 搞定8 维矩阵保证用例覆盖，AI 按框架思考，不会遗漏step6 门禁做可执行校验，问题暴露在生成阶段人审核 + 一键生成，人在回路中把关，机器做重复劳动你可以把 8 维矩阵、声明式 spec 这些思路带回自己团队试——它们本身就有价值。

2026-07-09 08:22:01 325

原创【skills】我花半年做了套 AI 测试框架：21 个目录、133 个文档、不写一行测试代码也能跑自动化

现在都要求AI提效，大家肯定也用过通用AI工具写测试脚本，结果它每次给的代码都不一样，同一个接口今天用 requests、明天用 httpx，断言风格也不统一。更崩溃的是，老员工一走，他积累的那些测试经验——哪个接口容易超时、哪个参数容易越界、哪个场景容易漏测——就跟着人一起走了。这是我的一整套skills，21 个目录、133 个文档、15 个可执行脚本，我叫它"AI 测试技能包"。这篇文章，我想跟你聊聊它的设计思路——不教你怎么装怎么用，而是讲清楚。

2026-07-08 08:29:59 204

原创【测试工具】Reqable抓包工具保姆级教程：小白也能轻松上手的HTTP调试神器

文章摘要 Reqable是一款跨平台HTTP(S)抓包与API测试工具，集成了Fiddler、Charles和Postman的核心功能，支持HTTP/1.x/2、WebSocket等协议，提供HTTPS解密、弱网模拟、断点调试、Python脚本拦截等高级特性。其轻量化设计（基于Rust+Flutter）和免费社区版降低了使用门槛，适用于Web/移动端调试、接口性能分析及多环境管理。通过代理抓包、RESTClient测试、环境变量和Mock服务等功能，Reqable能高效梳理接口调用关系，辅助自动化测试。与同

2026-07-07 08:46:30 900

原创【AI测试智能体15】回归测试与版本管理：LLM 更新后的行为漂移

本文介绍了LLM版本升级时的回归测试方法论。通过电商数据分析智能体案例，展示了qwen-plus到qwen3.5-plus升级时30%用例行为发生变化的情况。提出了三层测试体系：黄金用例集（30-50个核心功能用例）、参考用例集（50-100个非核心用例）和探索用例集（新场景测试）。重点阐述了行为差异检测方法，包括版本对比看板、Diff报告生成和灰度发布策略。提供了黄金用例集模板、Python实现代码和实测数据，建议通过锁定版本、设置质量门禁来控制升级风险。适用于工具型Agent场景，强调通过少量精准用例实

2026-07-05 16:32:26 639

原创【AI测试智能体14】稳定性与鲁棒性测试：扰动、噪声、失败注入

摘要：本文探讨了智能体（如LLM）在稳定性与鲁棒性测试中的关键挑战，提出通过扰动注入模拟生产环境异常（如网络延迟、工具失败、输入截断等），评估智能体在非理想条件下的表现。测试涵盖四类扰动：输入扰动（如数据掺假、删词）、环境噪声（如API限流、磁盘满）、状态异常（如内存泄漏）、模型波动（如temperature变化）。通过Chaos测试框架（含代码示例）实测发现：工具失败30%时成功率骤降至40%，而网络延迟仅增加耗时，组合扰动可能导致成功率进一步下降。交付物包括17种扰动用例集、稳定性达标标准及随机种子扰

2026-07-03 07:47:48 601

原创 AI测试智能体（agent）实战 3：跑一次完整评测，看看你的 Agent 几斤几两

《AI测试智能体评测实战：环境搭建与评分机制解析》摘要：本文基于测试员周周的AI测试智能体系列文章，系统梳理了评测环境搭建与评分机制设计要点。环境搭建强调隔离性与可重复性，仅需Python3.8+和APIKey即可运行Mock工具链的轻量级测试环境。评测过程涵盖任务规划、工具使用等5个维度，采用混合评分机制：代码能力等硬评分维度通过执行结果客观判定，对话能力等软评分维度借助LLM语义判断。质量门禁设定综合3.0分及格线，安全测试实行一票否决，并通过稳定性测试（10次重复执行）验证结果一致性。实践建议包括关

2026-06-23 07:55:38 387

原创【大模型评测系列】我用 10 条真实任务对比了 GLM-5.1（百炼） vs GLM-5.2（百炼） vs DeepSeek-V4-Pro（官方）

本次评测对比了GLM-5.1、GLM-5.2和DeepSeek-V4-Pro三个大模型在10项真实测试任务中的表现。结果显示：三个模型均实现100%任务通过率，质量接近；但DeepSeek-V4-Pro在效率上优势显著，平均耗时25.2秒（比GLM-5.1快59%），平均Token消耗2092（节省38.7%）。评测涵盖用例生成、脚本编写、性能分析等测试工程全链路任务，发现国产模型已具备实用能力，但速度与成本差异明显。建议企业选型时通过真实任务测试三维数据（质量/速度/成本），而非仅参考宣传指标。完整评测框

2026-06-18 07:34:06 1411

原创【大模型评测】我用 10 条真实任务对比了 GLM-5.1（百炼） vs GLM-5.2（百炼） vs DeepSeek-V4-Pro（官方）

文章摘要：测试员周周对GLM-5.1、GLM-5.2和DeepSeek-V4-Pro三款大模型进行了真实场景评测，覆盖10项测试工程任务。结果显示：通过率：三模型均达100%，输出质量接近；效率：DeepSeek-V4-Pro显著领先，平均耗时25.2秒（比GLM-5.1快59%），Token消耗减少38.7%；成本：DeepSeek估算成本最低（0.84元/万Token）。核心结论：国产模型能力趋近，但速度与Token效率差异明显。建议新模型选型时结合真实任务数据，避免仅参考宣传指标。评测框架与

2026-06-18 07:13:24 994

原创【AI测试智能体】拒绝玄学调参！我用 30 次真实 LLM 调用，拆解了 Agent 性能崩盘的 3 个维度

本文探讨了智能体性能测试的关键维度，通过真实电商场景案例揭示了仅功能测试的不足。文章提出性能测试三大核心指标：1)延迟（需关注P50/P90/P99分位数），2)Token预算（直接影响成本，需建立消耗模型），3)并发能力（高负载下的稳定性）。测试数据显示，典型任务如销售报告生成的平均延迟达45秒，Token消耗约8000（成本0.5元/次），并发性能随请求量显著下降。作者提供了完整测试方案（含Python实现）和达标标准（如P90<30s、Token<5000），并强调性能与功能的同等重要性—

2026-06-17 23:44:25 345

原创【免费送】自学软件测试最大的坑：没有业务系统！

《真实业务场景下的测试实战：电商进销存系统全链路训练方案》摘要：针对测试人员自学过程中缺乏真实业务场景的痛点，作者开发了一套企业级电商进销存财务一体化系统。该系统涵盖商品管理、秒杀系统、采购销售、库存财务等完整业务链路，采用前后端分离架构（Vue3+Flask+MySQL+Redis），通过Docker一键部署。每个模块对应核心测试技能训练：商品CRUD练接口测试、秒杀系统练性能测试（含6种防超卖机制）、进销存流程练业务测试、财务模块练数据一致性校验、前端页面练UI自动化。系统提供从接口测试到持续集成的

2026-06-14 08:00:00 354

原创【AI测试智能体】智能体不做这两件事，上线就是事故：幻觉检测与注入防御实战

本文摘要：针对大语言模型（LLM）在电商场景中的幻觉和安全隐患，提出系统化测试方案。知识测试涵盖事实性（准确率）、推理（正确率）和幻觉检测（虚构问题编造率），实测显示未优化的模型幻觉率高达70%。安全测试聚焦四类攻击：有害内容、隐私泄露、Prompt注入和Jailbreak，关键发现包括：规则过滤对已知攻击拦截率100%，但需结合LLM检测应对变体攻击。交付物包含标准测试集（如30个事实问题、20个幻觉触发用例、15种注入攻击向量），并给出安全评分公式。文末指出：知识准确性（幻觉率＜5%）和安全性（攻击拦

2026-06-12 23:16:59 503

原创【AI测试智能体】Tool、Toolset、Skill、Agent、MCP——五个概念，一篇彻底搞懂

本文用生活化的比喻清晰区分了AI开发中的五个核心概念： Tool（工具）：单一功能的"傻小子"（如厨房电器），只管执行不问原因 Toolset（工具集）：按岗位分配的工具箱（如装修队不同工种的专用工具），控制权限范围 Skill（技能）：操作指南（如菜谱），知道"先做什么后做什么"的方法论 Agent（智能体）：自主决策的"大厨"，能规划、执行、调整整个任务流程 MCP（协议）：万能插座式接口，让AI能连接任何符合标准的第三方服务通过"

2026-06-11 08:09:07 1717

原创【AI测试智能体-面试】AI测试面试60题（附回答思路）

基于Transformer架构，预训练+微调两阶段规模差异：百亿~万亿级参数 vs 百万~千万级能力差异：多任务（写作/编程/推理）vs 单一任务（分类/翻译）关键区别：零样本/少样本学习能力，输入空间无限大测试影响：输出是概率性的，断言方式完全不同Prompt是用户给模型的输入指令，决定了模型的输出方向同样的模型，不同的Prompt可能给出完全不同的答案测试Prompt就是验证：模型是否按预期理解了指令、是否稳定输出。

2026-06-08 07:52:23 314

原创【AI测试智能体11】让 Agent 写代码一次过，修 Bug 修三天：这才是真实的代码能力测试

本文摘要（148字）：研究揭示智能体在代码生成与调试中的能力差异：测试显示，智能体生成电商计算代码（如销售额统计）正确率达100%，但调试同比环比代码时多次失败，需3轮才修复筛选逻辑错误。文章提出代码能力评估四维度（正确性、效率、风格、调试），并设计梯度测试集验证。关键发现：生成任务平均耗时143-176秒，调试简单bug仅64.5秒；复杂bug调试正确率显著低于代码生成。配套提供40个测试用例、边界生成器及质量评分细则，强调需区分安全测试与质量评估。

2026-06-07 18:55:37 396

原创【AI测试路线图3】2026 年企业到底需要什么样的 AI 测试工程师？

【2026年AI测试工程师核心能力地图】随着AI技术快速发展，企业对AI测试工程师的要求已发生本质变化。本文提出6项核心能力体系：1. 基础门槛（前3项必会）： Python编程：需掌握API调用、数据处理等实用技能大模型理解：重点认知能力边界而非训练原理 Prompt工程：掌握7大核心技巧如角色设定、任务拆解等关键差异点： Agent框架能力（核心）：需精通LangGraph等框架搭建测试智能体评测体系设计（差异化）：从断言验证转向多维度质量评估测试工程化（加分项）：构建自动化流水线与可视化报告

2026-06-05 08:06:44 1006

原创【AI测试智能体10】实测打脸：5轮对话后，顶级大模型qwen-plus秒变“失忆症患者”

文章摘要：本文探讨了智能体在多轮对话测试中的表现衰减现象及其评估方法。研究发现，智能体的记忆能力随对话轮数增加呈阶梯式衰减：3轮内准确率100%，5轮降至80%，8轮45%，12轮仅20%。文章提出五维评估框架：信息记忆（半衰期模型）、指代消解（阶跃式退化）、话题切换、冲突处理和语义漂移，并开发了支持模糊匹配的MemoryRecallScore评分算法（0-1分制）。测试数据显示，在固定窗口策略下，Qwen-plus模型的信息记忆半衰期约4-8轮，超过10轮后多数能力降至20%以下。作者强调衰减曲线应区分模

2026-06-04 08:52:30 851

原创【AI测试智能体9】能完成任务 ≠ 选对了工具：一个被 90% 团队忽略的 Agent 评估盲区

本文探讨了大模型智能体的工具使用能力评估方法，提出四维度评估框架：1)工具选择准确率（三层分级评分）；2)参数准确性（含语义检查）；3)错误恢复能力；4)调用效率。研究显示，工具选择准确率≥70%可保证任务完成，但准确率下降会导致Token消耗激增5.6倍、耗时增加5.7倍。文章提供了工具选择陷阱用例集、错误恢复测试矩阵等实用评估工具，强调"能用≠最优"，需区分best/acceptable/wrong三级选择质量。

2026-06-03 23:21:34 344

原创 AI测试智能体（agent）实战 1：拿到一个 AI Agent，别急着写用例：我是怎么拆出 190 条的？

本文介绍了如何系统化构建AI Agent的测试用例体系，提出了三层拆解法（能力域→能力项→能力点）和六维能力模型（任务规划、工具使用、多轮对话等）。以电商数据分析Agent为例，展示了190条测试用例的科学分配方法：任务规划（40条）、工具使用（30条）等核心能力占主导，安全测试单独设置145条攻击用例。文章包含真实用例模板和评分逻辑演示，并指导如何新增情绪识别用例。最后提供了完整的数据集验证信息，包含197条用例的具体分布和难度分级。

2026-06-02 08:17:38 651

原创【AI测试智能体7】智能体评分怎么做？别再只用 LLM 当裁判了

文章摘要：本文提出了一种三层评分机制，用于评估Agent输出的质量。第一层是规则评分，基于明确条件判断，覆盖100%用例但只能评估结构化指标；第二层是LLM评分，用于评估模糊质量指标，通过3次评分取中位数减少波动；第三层是人工抽检，处理分歧大的用例。三种方式组合使用：规则打底、LLM补充、人工兜底，确保评分稳定可靠。文章还提供了具体实现代码，包括规则评分细则、LLM评分Prompt模板和人工抽检流程，适用于任务规划、工具使用、代码能力等多维度评估。

2026-05-28 07:43:40 528

原创【AI测试智能体8】智能体崩了？别怪模型，先看这 12 种规划失败模式（附评分代码）

文章摘要：本文探讨了智能体任务规划质量的量化评估方法，提出从四个维度进行评分：子任务数量合理性（20分）、依赖关系准确性（30分）、工具选择正确率（25分）和执行完成率（25分）。通过分析50个任务案例发现，规划质量优秀的任务执行完成率达94%，而不合格任务仅52%。研究揭示了12种常见失败模式，包括子任务数量失控、依赖环、工具选择错误等，并提供了对应的检测方法和扣分规则。文章强调合理的任务拆解（中等任务3-6个子任务，复杂任务5-10个）对执行效率的关键影响，指出过度拆解会导致30%以上的token浪费。

2026-05-28 07:41:48 561

原创【AI测试智能体6】智能体不能只跑不管：我给 Agent 加了 6 个“检查点“

智能体可测性设计：从黑盒到透明化智能体常因缺乏日志和状态追踪导致失败难以排查。本文提出四个维度的可测性改造方案：日志标准化结构化JSON日志，包含trace_id、阶段标记、执行状态等关键字段，实现机器可读与问题追溯。状态暴露通过get_state接口实时获取智能体进度（如已完成/失败子任务、当前阶段），支持断点调试。确定性控制固定temperature（≤0.3）、种子和模型版本，减少输出随机性，提升测试可重复性。检查点机制在6个关键节点（如规划完成、子任务执行）记录检查点，结合断言验证

2026-05-27 08:10:07 417

空空如也

空空如也