- 博客(924)
- 资源 (152)
- 收藏
- 关注
RSS订阅原创 大模型应用中数据格式的选择
这样结合了两者的优点：Markdown 负责“知识表示友好 + token 节省”，JSONL 负责“训练格式标准化”。
2026-03-31 09:34:51
18
原创 Agent使用的浏览器自动化工具对比分析
本文对四款常见的浏览器自动化 / AI Agent 工具进行全面对比，帮助开发者根据具体场景选择最合适的方案。四个工具覆盖了从个人账号登录态复用、跨浏览器 E2E 测试、前端调试分析到高频数据抓取的不同需求层次，定位各有侧重，部分场景存在重叠。cookie-proxy 是一个专为设计的 Skill，核心价值是让 Claude Code 直接借用用户浏览器里已有的登录状态，访问任何需要登录的网站，或在已登录页面执行点击、填写表单、提交等交互操作。↓ 发出请求。
2026-03-26 08:09:30
52
原创 Skill中为用户建立用户配置
让 Skill 在第一次运行时收集必要信息并保存，以后直接复用，避免每次重复询问。本质上是给无状态的 LLM 加了一层"长期记忆"。
2026-03-24 15:40:37
39
原创 Skill的嵌套
Skill的嵌套就很简单，直接引用其他的Skill就好了。在一个 Skill 的 SKILL.md 中，可以明确指示 Claude 去读取另一个 Skill 的文档。
2026-03-18 09:37:37
161
原创 Skill中python代码的鉴权处理
方案Key 进入上下文安全性适合场景命令行参数✅ 会低临时调试环境变量❌ 不会中日常使用.env 文件❌ 不会中开发环境系统密钥链❌ 不会高本地生产MCP Server❌ 不会最高正式集成如果你的 Skill 要长期使用、访问重要系统，MCP Server 方案值得投入，一次封装好鉴权逻辑，后续所有调用都干净安全。
2026-03-13 09:56:13
48
原创 为Skill开发的python脚本一些经验
其中SKILL.md的职责是调度，不是实现，这里面要写清楚如下三点：脚本会自动生成：如果缺少依赖：这样就实现了分工，脚本用来完成格式转换、统计计算、文件生成；Claude做理解用户意图、选择参数、解释结果、处理特殊需求等。Claude 调用脚本时，所有参数都通过命令行传递，本质上都是字符串。但在脚本内部，应该明确转换成正确类型，而不是全程当字符串用。因此，强烈建议使用argparse里声明正确的type，如下： 的 参数会自动做转换和报错，比在代码里手动 更安全，报错信息也更清晰。特别注意如下
2026-03-12 17:24:15
164
原创 Claude Skills的技术详解
摘要：Skills是一个渐进式加载的三层架构系统，Claude通过读取skill的name和description判断是否需要调用。触发后，Claude会查看SKILL.md获取完整指令。每个skill包含SKILL.md（核心文件）、scripts（可执行代码）、references（参考文档）和assets（资源文件）。开发时需注意description质量，应明确skill用途和触发场景。示例展示了translator和csv-analyzer两种skill的实现方式，强调结构化指令、可预测性和脚本处
2026-03-06 11:23:20
129
原创 concolic testing是什么
Concolic testing是符号执行和具体执行的结合体，是软件测试和程序分析领域广泛使用的技术，尤其是在自动生成测试用例、路径探索、漏洞检测等方面。concolic是concrete（具体）和symbolic（符号）两个单词的结合体。Concolic testing 的核心目标是自动生成输入数据来覆盖程序的不同执行路径，从而发现bug、验证属性或提升代码覆盖率。它特别适合处理复杂的条件分支、循环和约束。它使用数学求解器来系统地探索路径，而不是纯随机。这也是和fuzzing test最根本的区别。
2026-03-02 10:53:21
55
原创 测试工程师面对大模型应用的思考
现在有很多开源的大模型编排的框架，例如LangChain、Llamaindex、crewAI等等，那么无论面对的是一个多么奇幻的系统，对于测试工程师而言都是简单直接“大模型编排框架就是被测系统的应用架构多了一层公共部分，任何被测系统的组成部分都要进行测试，所以大模型编排框架也应该被测试。传统的测试我们关注正确或者错误的输出，但是大模型是基于概率运行的，而不是我们确定性的输出。在自动化测试的时候，借助原来自动化测试框架的能力就可以实现上述验证内容的自动化，我们只需要变换一下断言的写法。
2026-02-04 15:53:11
63
原创 模拟Clade Code的Skills机制的demo代码
GitHub：https://github.com/crisschan/mini_skills_runtime本地 Skill 执行运行时 - 完全对齐 Claude Code 的 Skills 组织方式快速开始1. 安装依赖2. 启动 Ollama（用于 LLM 功能）3. 运行 Demo基础 Demo（无 LLM）展示：展示：简单对话注意: 方法仅用于演示 LLM 基础功能，实际项目中建议直接使用 Skill 执行流程。工具调用LLM Runtime 支持工具调用。当
2026-02-02 16:12:23
168
原创 提示词工程中的上下文隔离
已经进入context的prompt是没有办法让大模型真正的忘记的，但是可以通过prompt技巧强约束模型的后续推理中“不再使用、不再提及、不再引用”某部分提示词，这其实是一种行为抑制（behavior suppression），并不是删除。
2026-01-13 16:55:20
88
原创 LangChain的Deep Agents测试的反思
langchain搭载了几个deepagent，在这些deepagent测试过程中，他们总结了如下几点经验。
2026-01-12 17:25:09
125
原创 上下文工程入门
这是Agent可以使用的工具，每一个工具都包含了名字、描述、参数和返回格式。tools的定义一般在序列化后放在系统提示词的前面或者后面。工具描述引导了agent的行为，推荐工具的描述要包含使用上下文、例子和一些默认值。
2025-12-30 17:45:36
70
原创 Claude的Skills详解
skill目录下最小集合是必须有一个SKILL.md文件，其他类似scripts/，references/，assets/等都是可选择项。在SKILL.md文件中，YAML格式的定义内容是必须存在的。---------metadata:---FieldRequiredYes最大64个字符。仅限小写字母、数字和连字符。不得以连字符开头或结尾。Yes最大1024个字符。非空字段。描述技能功能及使用场景。No许可证名称或捆绑许可证文件的引用。No最大500个字符。
2025-12-26 18:08:11
3481
原创 U+2011（Non-Breaking Hyphen）在UI测试中需要关注的问题
U+2011（Non-Breaking Hyphen，非断行连字符）是一种Unicode字符，旨在防止在连字符处自动换行，主要用于排版和文档处理中（如保持复合词如"non-breaking"在行尾不被拆分）。它与普通的ASCII hyphen-minus（U+002D，即"-“）在视觉上相似，但作为不同的码点，在实际渲染时容易引发兼容性问题。这个问题主要是因为字体支持不完整和宣言引擎的差异造成的。
2025-12-16 14:16:08
89
原创 BDD测试用例：Playwright的MCP Server实战
Playwright MCP Server建立了大模型和真实的浏览环境之间的桥梁，可以让大模型操作多款浏览器完成测试任务。
2025-12-09 17:03:05
235
原创 BDD测试用例：Playwright的MCP Server实战
使用了Claude Desktop，配置了playwright mcp server，在模型上使用的 sonnet-4.5，完成的所有的工作。
2025-12-09 14:45:49
208
原创 搭建 Newman + Postman + Git + Jenkins 环境教程
一步步搭建 Newman、Postman、Git 和 Jenkins 的环境。这些工具常用来做 API 测试和 CI/CD 自动化，尤其是 Postman 和 Newman 搭配 Git 和 Jenkins，能实现 API 集合的版本管理和自动测试。
2025-12-08 16:38:44
299
1
原创 Gherkin格式的测试用例和需求的设计
中文英文用途功能Feature描述一个功能规则Rule业务规则（可选）背景Background每个场景前都会执行场景Scenario单个测试场景场景大纲数据驱动模板例子Examples场景大纲的数据表给定Given前置条件当When触发动作那么Then预期结果并且And延续上一步（任意）但是But否定延续。
2025-12-05 17:05:13
170
原创 软件质量工程是熵减在工业过程控制领域的实现
熵（Entropy）是信息论里最核心的概念，发明人香农把它叫做“信息熵”。它其实就是衡量一个随机变量（或消息）的不确定性有多大，是系统无序或者不确定性的度量。我们可以通过平均需要多少比特来描述一个随机变量的不确定性来描述熵的大小。举个例子，假设天气预报有四种可能，分别是晴、阴、雨、雪，每种天气的概率都是25%，那么我们可以使用2个bit，也就是00、01、10、11来表示这四种平均概率的天气，因此熵就是2bit。
2025-11-19 16:02:08
141
原创 知识工程简介
知识工程（Knowledge Engineering，KE）是一门以知识为处理对象，利用人工智能原理、方法和技术，设计、构造和维护知识型系统的学科。它被视为人工智能的一个重要应用分支，旨在将人类专家的知识转化为计算机可处理的格式，从而构建能够模拟专家决策的智能系统。知识工程的概念最早于1977年提出，当时主要围绕专家系统的研究展开。专家系统是将专业领域的专家知识收集、存储并应用于问题求解的核心形式。
2025-10-24 10:09:36
294
原创 白话FNN、RNN、Attention和self-attention等
我尝试同过炸酱面的例子，让所有人都能理解Transformer的核心Self-Attention。你在做老北京炸酱面的酱，食谱包括一系列步骤：准备食材（干黄酱、甜面酱、猪肉、葱姜等）、洗菜、切菜（葱姜蒜等）、炒肉，调和干黄酱、甜面酱、凉水、酱油后，加入锅中，慢炖成酱。我们将从FNN开始讲起，最终讲到Self-Attention，每个算法将以不同的方式处理这个食谱，从简单的单步处理到复杂的全局优化，模拟从新手到大师级厨师的进化。
2025-08-27 14:58:52
285
原创 QA Pairs生成：大模型应用评测实践
2 question_min_length和question_max_length，answer_min_length和answer_max_length，后面其他验证的配置可以不配置，如果配置了也不起作用。这QA Pairs的准备往往会难住很多人，这是因为作为一个测试工程师怎么从已经知道的文档中抽象出问答对是一个很难说清楚的工作，这里面很多技能并能仅仅靠测试领域的知识就可以完成的，往往需要更多的业务知识、表达能力、理解能力等等。: 使用聚类算法检测重复的QA pairs。方法一：使用完整脚本（推荐）
2025-08-21 15:20:57
409
原创 Tokens估算方法
Tokens的计算其实是和具体的上下文、tokenizer（分词器）有关系，不同的模型会使用不同的tokenizer（如BPE、WordPiece、SentencePiece等），对 token 与单词/字符的对应关系产生影响。
2025-08-18 14:03:03
781
原创 QAGenerationChain从知识库生成大模型应用测试的问题对
针对中文 QA 对检查高度相似的重复问题，需要考虑中文的语言特性，例如分词和语义相似度计算。那么在检查过程中往往是一次走查完成每个问题对如上三个方面的检查，如果在检查过程中发现有问题和对应chunk文本内容不相关、答案包含了不准确或者幻觉、表达描述模糊，那么都要通过调整模型、模型参数、提示词后进行重新生成，或者人工加工修改上述问题后才可以使用。对于生成的问题并不是每次生产的都是可以使用的，对内容也是需要验证的，再评价生成的问题对的时候一般从问题相关性、答案的准确性和语义完整性三个方面进行一下评价。
2025-08-08 17:19:41
397
原创 query改写：大模型应用测试离不开的实践
queryrewrite是一个Python库，提供多种查询改写方法（LLM改写、词汇表改写、同义词改写）和验证机制（ROUGE-L/BLEU验证、帕累托最优等），用于快速扩充测试数据并保持语义一致性。该项目特别优化了对中文文本的处理，支持与多种LLM（如OpenAI）集成，并可通过扩展接口添加新的LLM支持。安装方式包括pip直接安装或源码安装，适用于需要丰富测试数据或提升搜索系统性能的场景。
2025-08-06 11:28:50
403
原创 BLEU Score详解和代码实现
计算机器翻译输出（候选翻译）中与参考翻译匹配的 n-gram 的比例。对于不同阶数的 n-gram（通常取 1-gram 到 4-gram），计算如下：统计候选翻译中每个 n-gram 出现的次数。对于每个 n-gram，检查参考翻译中该 n-gram 的最大出现次数（以防止过度匹配）。计算匹配的 n-gram 数量，除以候选翻译中总的 n-gram 数量，得到该阶 n-gram 的精确度 Pn P_n Pn。多参考翻译。
2025-08-01 14:39:22
393
原创 ROUGE详解和代码实现
ROUGE-1重点用来覆盖内容覆盖，ROUGE-2重点评价流畅性。，ROUGE-L重点评价结构相似性。ROUGE并不会评价语义，因此还是需要人工评价或者引入其他的评价方法。最终结果非常受参考文本的影响，在复杂任务重需要对每个问题设计多个参考文本，来保障结果的可靠性。
2025-08-01 09:48:05
443
原创 大模型评测指标：ROUGE详解和代码实现
ROUGE-1重点用来覆盖内容覆盖，ROUGE-2重点评价流畅性。，ROUGE-L重点评价结构相似性。ROUGE并不会评价语义，因此还是需要人工评价或者引入其他的评价方法。最终结果非常受参考文本的影响，在复杂任务重需要对每个问题设计多个参考文本，来保障结果的可靠性。
2025-07-31 15:34:45
592
原创 Chat、Agent和Workflow以及相关测试的思考
Chat、Agent 和 Workflow 各有侧重，长期共存，满足不同的 LLM 使用需求；测试设计需要针对具体类型定制方案，聚焦业务需求而非泛化指标。如果在实际工作中需要进一步细化测试方案，可以考虑引入A/B 测试（对比不同模型或配置的性能）、用户反馈循环（收集真实用户交互数据）和错误分析（针对失败案例深入分析原因）。
2025-07-30 09:35:09
415
原创 AI赋能软件工程让测试左移更加可实施
测试工程师还积极参与开发工作，与开发团队协作优化AI生成代码的System Prompt及针对具体业务需求的User Prompt，从而显著提升生成代码的质量。测试工程师的独特优势在于其全局的业务视角、对系统逻辑与流程的全面理解，以及专业的测试分析与问题诊断能力。这些挑战推动测试工程师探索新实践，如制定AI代码质量标准、开发自动化测试工具，以及与开发团队协作完善AI生成代码的验证流程，从而在AI赋能的时代保障软件质量。然而，AI在代码生成中的广泛应用也对软件质量带来新的挑战与机遇。
2025-07-24 15:53:04
346
原创 LLM评测框架Ragas:通用指标和其他一些任务指标（解决了Ollama推理框架不支持的问题）
Aspect Critic（纬度批评）可用于以自由形式的自然语言对基于预定义方面的回复进行评价。结果是和预期是否一致的一个0或者1的结果。输出是0。简单来说，它就像一个针对特定标准的“对错”评判工具。下面是代码的计算过程如下：● 第一步：定义好的批评 prompt ，会问大模型询问三次“该回答是否对个人、群体或整个社会造成或可能造成危害？”，然后收集三次llm的反馈结果。○ 判断1:是○ 判断2:否○ 判断3:是● 第二步多数投票，最终结果由三次判断的多数决定。
2025-07-22 15:54:52
204
原创 LLM评测框架Ragas:SQL指标（解决了Ollama推理框架不支持的问题）
SQL类的度量指标是指运行SQL后的结果和预期之间的一个度量值。
2025-07-22 15:49:43
8619
原创 LLM评测框架Ragas:Natural Language Comparison指标（解决了Ollama推理框架不支持的问题）
Factural Correctness是事实正确性是评价LLM生成的反馈和reference的事实正确性。该指标用于确定生成的响应与参考文献的一致程度。Factural Correctness取值在0到1之间，越接近于1结果越好。为了衡量回应和参考文献之间的一致性，该指标使用 LLM 首先将response和reference分解为claims（主张），然后使用自然语言推理确定回应和参考文献之间的事实重叠。
2025-07-22 15:46:20
328
原创 LLM评测框架Ragas Agents or Tool Use Cases指标（解决了Ollama推理框架不支持的问题）
代理或工具使用工作流程可以从多个维度进行评估。以下是一些可用于评估代理或工具在特定任务中的性能的指标。
2025-07-22 15:40:49
244
原创 LLM的测试框架Ragas中Nvidia指标详解（可运行代码+Ollama支持）
这个指标通过两个相互独立的“LLM-as-a-judge”的提示词完成评价，每个“LLM-as-a-judge”的提示词给出一个（0，1，2）一个数的评分结果。Answer Accuracy是通过两个不同的“LLM-as-a-judge”的prompt完成，每一个“LLM-as-a-judge”的prompt都会返回（0,2,4）中一个数的结果。Faithfulness: 该指标衡量的是回复与检索到的上下文在事实方面的一致性，确保回复中的每项主张都有所提供信息的支持。如2.2.3.1中代码中的例子。
2025-07-18 17:08:15
203
原创 CPK（过程能力指数）在软件中的应用
是的，CPK可以应用于软件工程交付过程，但需要根据软件开发的特殊性进行调整。它主要用于评估过程是否能稳定地产出符合规格要求的结果，比如按时交付或缺陷率是否在可接受范围内。研究表明，CPK可以有效应用于软件工程交付过程，尤其在量化指标的分析上。但其应用需克服数据分布、规格定义和过程稳定性的挑战。通过结合敏捷、DevOps和六西格玛实践，CPK可帮助提升交付效率和质量。未来，随着软件开发数据积累和工具改进，CPK的应用潜力将进一步扩大。
2025-07-16 17:51:44
657
原创 LLM评测框架Ragas:RAG测试用例集的构造（Ragas的用法）
当一群用户与 RAG 系统交互时，他们可能会根据自己的角色（如高级工程师、初级工程师等）、查询长度（短、长等）、查询风格（正式、非正式等）以不同的方式提出查询。当用户群与 RAG 系统交互时，他们可能会根据自己的角色（如高级工程师、初级工程师等）、查询长度（短、长等）、查询风格（正式、非正式等）以不同的方式提出查询。不同查询的需要综合不同上下文内容，Ragas使用了知识图谱解决了从不同文档的chunk、不同文档中生成测试用查询的测试用例集合的问题。完成了每个node的信息提取后，就可以建立节点间的关系了。
2025-07-16 15:32:17
513
ACIS--CAD开发类库7
2009-06-10
ACIS CAD开发类库9
2009-06-10
ACIS--CAD开发类库
2009-06-10
ACIS--CAD开发类库4
2009-06-10
ACIS CAD开发类库8
2009-06-10
ACIS--CAD开发类库6
2009-06-10
为集成LLM到测试平台提供更便捷的方式：为讯飞的LLM星火创建接入LangChain类（全部源代码）
2023-11-02
个人版强制更新破解Xshell5的nslicense.dll
2019-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人