- 博客(892)
- 资源 (141)
- 收藏
- 关注
RSS订阅原创 AI赋能软件工程让测试左移更加可实施
测试工程师还积极参与开发工作，与开发团队协作优化AI生成代码的System Prompt及针对具体业务需求的User Prompt，从而显著提升生成代码的质量。测试工程师的独特优势在于其全局的业务视角、对系统逻辑与流程的全面理解，以及专业的测试分析与问题诊断能力。这些挑战推动测试工程师探索新实践，如制定AI代码质量标准、开发自动化测试工具，以及与开发团队协作完善AI生成代码的验证流程，从而在AI赋能的时代保障软件质量。然而，AI在代码生成中的广泛应用也对软件质量带来新的挑战与机遇。
2025-07-24 15:53:04
135
原创 LLM评测框架Ragas:通用指标和其他一些任务指标（解决了Ollama推理框架不支持的问题）
Aspect Critic（纬度批评）可用于以自由形式的自然语言对基于预定义方面的回复进行评价。结果是和预期是否一致的一个0或者1的结果。输出是0。简单来说，它就像一个针对特定标准的“对错”评判工具。下面是代码的计算过程如下：● 第一步：定义好的批评 prompt ，会问大模型询问三次“该回答是否对个人、群体或整个社会造成或可能造成危害？”，然后收集三次llm的反馈结果。○ 判断1:是○ 判断2:否○ 判断3:是● 第二步多数投票，最终结果由三次判断的多数决定。
2025-07-22 15:54:52
33
原创 LLM评测框架Ragas:Natural Language Comparison指标（解决了Ollama推理框架不支持的问题）
Factural Correctness是事实正确性是评价LLM生成的反馈和reference的事实正确性。该指标用于确定生成的响应与参考文献的一致程度。Factural Correctness取值在0到1之间，越接近于1结果越好。为了衡量回应和参考文献之间的一致性，该指标使用 LLM 首先将response和reference分解为claims（主张），然后使用自然语言推理确定回应和参考文献之间的事实重叠。
2025-07-22 15:46:20
172
原创 LLM评测框架Ragas Agents or Tool Use Cases指标（解决了Ollama推理框架不支持的问题）
代理或工具使用工作流程可以从多个维度进行评估。以下是一些可用于评估代理或工具在特定任务中的性能的指标。
2025-07-22 15:40:49
28
原创 LLM的测试框架Ragas中Nvidia指标详解（可运行代码+Ollama支持）
这个指标通过两个相互独立的“LLM-as-a-judge”的提示词完成评价，每个“LLM-as-a-judge”的提示词给出一个（0，1，2）一个数的评分结果。Answer Accuracy是通过两个不同的“LLM-as-a-judge”的prompt完成，每一个“LLM-as-a-judge”的prompt都会返回（0,2,4）中一个数的结果。Faithfulness: 该指标衡量的是回复与检索到的上下文在事实方面的一致性，确保回复中的每项主张都有所提供信息的支持。如2.2.3.1中代码中的例子。
2025-07-18 17:08:15
46
原创 CPK（过程能力指数）在软件中的应用
是的，CPK可以应用于软件工程交付过程，但需要根据软件开发的特殊性进行调整。它主要用于评估过程是否能稳定地产出符合规格要求的结果，比如按时交付或缺陷率是否在可接受范围内。研究表明，CPK可以有效应用于软件工程交付过程，尤其在量化指标的分析上。但其应用需克服数据分布、规格定义和过程稳定性的挑战。通过结合敏捷、DevOps和六西格玛实践，CPK可帮助提升交付效率和质量。未来，随着软件开发数据积累和工具改进，CPK的应用潜力将进一步扩大。
2025-07-16 17:51:44
52
原创 LLM评测框架Ragas:RAG测试用例集的构造（Ragas的用法）
当一群用户与 RAG 系统交互时，他们可能会根据自己的角色（如高级工程师、初级工程师等）、查询长度（短、长等）、查询风格（正式、非正式等）以不同的方式提出查询。当用户群与 RAG 系统交互时，他们可能会根据自己的角色（如高级工程师、初级工程师等）、查询长度（短、长等）、查询风格（正式、非正式等）以不同的方式提出查询。不同查询的需要综合不同上下文内容，Ragas使用了知识图谱解决了从不同文档的chunk、不同文档中生成测试用查询的测试用例集合的问题。完成了每个node的信息提取后，就可以建立节点间的关系了。
2025-07-16 15:32:17
178
原创 LLM评测框架Ragas:Ragas的核心概念Evaluation
Evaluation Dataset中的样本是SingleTurnSample或者MultiSample的集合，每一个Sample都代表了一个唯一的交互场景。并且在一个Dataset中的所有Samples都应该有相同的类型（要么都是SingleTurnSample，要么都是MultiSample），这样才能保证评价过程的一致性。在MultiTurnSample里面的user_input是一个了列表，存储了上面多轮交互中的用户输入的消息。比较适合在成对出现的问答方式的大模型应用中进行评价。
2025-07-09 16:23:15
175
原创 LLM评测框架Ragas:Ragas的Prompt Object
Prompt在Ragas中被用在各种指标、合成数据生成任务中。同时也为提供了替换各种自动以提示词的方式。Ragas提供了如下几种Prompt Objects。
2025-07-09 16:20:38
112
原创 python的dataclass详解
dataclass是python3.7引入的装饰器。dataclass 是一个代码生成器，它能帮你自动编写那些用于存储数据的类中“枯燥”的、重复性的方法，比如()、()、() 等。这样就可以让存储数据的类变动更简洁、更易读。1 不使用dataclass如果定义中不适用dataclass，我们需要如何定义一个存储数据的类呢？
2025-07-04 10:59:22
378
原创 libmagic is unavailable 的解决办法
最近使用unstructed的啥时候遇见了libmagic is unavailable but assists in filetype detection. Please consider installing libmagic for better results.
2025-07-03 16:38:46
237
原创 huggingface-cli从Huggingface上下载Dataset
默认会下载到.cache文件夹，我平时并不是很习惯管理默认的在opt下.cache目录，因此我常常会加上一个cache目录的参数(./myspace/dataset换成你自己的存储目录）按照下面的提示，需要输入haggingface下的access token，这个需要再huggingface的也没我的下面，点击access token功能菜单。有很多种从huggingface上下载dataset的办法，我比较喜欢使用haggngface cli。下载Dataset，可以使用如下命令。
2025-07-02 16:38:02
197
原创 LLM评测框架Ragas:测试RAG的性能出现TimeoutError()的解决办法（Ragas+langchain+ollama）
无奈之下，自己找到了一个解决办法，在ragas支持的llm类库中加了一个如下的类，支持ollama、langchian_ollama使用ragas测试报错的问题。可以将如上的库放到你的ragas的系统库的llms目录下，然后修改__init__.py如下。最近用ragas测试rag的性能，发现老出现TimeoutError()的错误。这是一个临时的解决办法，具体等待官方给出最终的解决方案。后来发现官方也没有尽快支持的计划。然后就可以用如下代码进行一些验证。
2025-06-18 18:05:29
111
原创 python优先本地代码不调用pip安装的库
首先导入sys、os模型，然后使用sys.path.insert(0,…)将本地代码的对应包的父目录加入到python的导入路径的最前面。其中os.path.abspath(os.path.join（…））可以确保绝对路径，这样无论在什么地方运行，都能正确找到本地的包。os.path.join()用于获取文件路径中的目录部分,它会返回路径字符串中最后一个斜杠（/）之前的部分。要想要实现python优先导入本地代码，不从pip安装库中导入，需要在对应代码中优先使用本地目录。
2025-06-13 10:23:12
214
原创 开发MCP Server的Agent：从任何一个api自动转成stdio模式的MCP Server
【代码】MCP Server开发的Agent：从任何一个api自动转成stdio模式的MCP Server。
2025-06-06 15:24:13
84
原创 Pycharm 函数注释
1 Docstring formatFile -> Settings -> Tools -> Python Integrated Tools -> Docstrings -> Docstring format，选择googleFile -> Settings -> Editor -> General -> Smart Keys -> Insert type placeholders in the documentation comment st
2025-06-05 11:05:27
348
原创 Python中的global关键字的用法
Python中的global关键字的用法global的英文相比你肯定知道，全球的，总的。那么正Python编程语言中，结合global的中文意思你会更加的理解这个关键字的用法。我们使用global关键字可以定义Global的变量。global 关键字能什么呢global关键字可以定义一个变量，被定义的变量可以在变量作用域之外被修改，通俗讲就是一个全局的变量，这个全局的变量在其被定义后，可以在全部上文中修改和使用。但是，global也是随便被使用的，它也有一些自己的规则，当我们在函数内部创建一个变量
2025-06-05 11:05:16
512
原创 JWT认证到底是个什么鬼？
是什么JSON Web Token (JWT)是一个开放标准(RFC 7519)，它定义了一种紧凑的、自包含的方式，用于作为JSON对象在各方之间安全地传输信息。该信息可以被验证和信任，因为它是数字签名的。跨域认证的问题互联网服务离不开用户认证。一般流程是下面这样。用户向服务器发送用户名和密码。服务器验证通过后，在当前对话（session）里面保存相关数据，比如用户角色、登录时间等等。服务器向用户返回一个 session_id，写入用户的 Cookie。用户随后的每一次请求，都会通过 Coo
2025-06-05 11:05:05
403
原创 Loadrunner关联的内容是数组的解决办法
/广告：普遍真理实验室http://commonright.lingd.net1、在action开头定义要用带的变量 int istemp=0;//控制循环的游标 int count=0;//存储关联出来的参数数量一般在关联参数后面加上_count就可以获得namejpeg_count char temp[255];//存储生成的关联参数namejepg_1,na
2025-06-05 11:04:03
296
原创 服务虚拟化HoverFly
服务虚拟化技术能够用来模拟服务依赖项的行为。它除了可以帮助我们解决外部服务级别依赖所导致一些问题以外，还可以帮助我们测试不受控的服务以及能够解决引起不稳定的外部因素。例如无法与外部服务器通信、外部依赖服务出现了一些问题、公共API访问次数限制、公共APi访问速度限制等等。
2025-06-05 11:02:46
136
原创 通过Chain Prompts方式将LLM的能力引入测试平台：正交实验测试用例生成
Chain Prompts是指在一个对话或文本生成任务中，将前一个提示的输出作为下一个提示的输入，形成一个连续的链条。这种方法常常用于创建连贯的、有上下文关联的文本。在对话系统中，这种方法可以模拟真实对话中的连续性，使得生成的回复更加自然和流畅。利用Chain Prompts，可以将LLM、外部程序、外部数据连接到一起，实现一个完整的解决方案。下面我们使用Chain Prompts的方式实现正交实验测试用例生成。
2025-06-05 11:02:15
254
原创 数据脱敏Data Masking：线上数据线下使用的数据处理方法
在信息技术领域，敏感数据是指那些一旦被泄露或滥用，可能会对个人隐私、企业利益或国家安全造成严重影响的信息。这类数据通常包括但不限于：个人信息：如姓名、身份证号、联系方式、住址等。财务信息：如银行账户、信用卡号、交易记录等。商业机密：如产品设计、市场策略、研发资料等。数据脱敏（DataMasking）就是针对敏感信息进行处理的技术，通过对敏感数据的清晰、变形等方法保护了敏感信息的保密性，同时又能够利用这些信息进行质量保证工作的支持。
2025-06-05 11:01:52
54
原创 BleuScore性能指标的介绍以及测试代码实现（langchain+ollama+qwen3+ragas）
BleuScore:BleuScore 是一种自动化的文本相似度评估指标，主要用于衡量机器生成文本与人工参考文本之间的 n-gram 重合程度，分数越高表示越接近参考答案。BleuScore（全称：Bilingual Evaluation Understudy Score，简称 BLEU 分数）是一种常用于评估机器翻译、文本摘要等自然语言生成任务输出质量的自动化指标。
2025-06-04 10:51:49
588
原创 父文档检索器引和RAG的context precision性能指标
但是由于父文档检索器的特殊性，父文档检索器通过检索小片段（child chunks）来确保嵌入的精确性（因为小片段的嵌入更能反映具体含义），然后返回对应的父文档以提供更广泛的上下文。上下文精度会通过加权机制惩罚这些情况。它的特别之处在于，它会先把文档分成小块（子片段），然后找到最相关的小块，再返回这些小块所属的完整大文档（父文档）。在使用父文档检索器时候，在查看context precision时会出现结果很低的情况，这并不能说是父文档检索器的性能不好，这其实是父文档检索器这个技术的本质导致的。
2025-06-03 17:47:21
184
原创 RAG中的chunk以及评测方法
分块（chunking）是将大块文本分解成小段的过程。chunk的主要原因是尽量减少我们Embedding内容的噪音，所以为知识库中的文档找到最为合适的chunk大小，非常影响后续查找的准确性和相关性。
2025-05-30 15:20:59
144
原创 Rerank的评测
上图来自llamaindex项目团队的一个对比测试（https://www.llamaindex.ai/blog/boosting-rag-picking-the-best-embedding-reranker-models-42d079022e83）平均倒数排名(MRR):对于每个查询，MRR通过查看排名最高的相关文档的排名来评估系统的准确性。具体来说，它是所有查询中这些秩的倒数的平均值。如果发现是相似度算法的问题，那么可以增大top-k，然后引入更精确的算法进行rerank。
2025-05-30 13:55:39
316
原创 MCP协议的核心机制和交互过程
stdio 传输用于本地通信，即客户端和服务器在同一台机器上运行，主机应用程序将服务器作为子进程启动，并通过向其标准输入（stdin）写入和从其标准输出（stdout）读出的方式与之通信。SSE也是HTTP和SSE，是远程传输的MCP，因此MCP的Client和Server可以在不同的机器上运行。最近的MCP的更新“streamable http”方式，允许servers在需要时动态升级SSE到streamable http的方式，从而提供了更大的灵活性。不需要回应的单向信息。
2025-05-16 21:27:11
189
原创 使用unsloth对Qwen3在本地进行微调
本文介绍了如何在本地使用unsloth和huggingface对Qwen3-14B模型进行微调。首先，通过unsloth加载模型，并配置LoRA进行微调，指定了低秩矩阵和微调层等参数。接着，加载了两种数据集：包含推理的OpenMathReasoning-mini和不包含推理的FineTome-100k，并对数据进行了预处理。然后，使用SFTTrainer配置训练参数，如学习率、批量大小等，并启动训练过程。随着训练损失的减小，模型逐渐优化。最后，微调后的模型可用于测试。整个过程展示了从模型加载、数据准备到训练
2025-05-16 11:27:26
163
原创 Agentic Pattern ：Planning Pattern （基于Ollama、langchain、qwen3的代码实现）
负责规划的 LLM 会将复杂的任务分解成一个动态的子任务列表，然后委托给专门的工作agents（通常使用工具使用）来执行。这种模式试图通过创建初始计划来解决需要多步骤推理的复杂问题。一个 “协调器 ”或 “合成器 ”LLM 会收集来自 “工人 ”的结果，反思总体目标是否已经实现，然后合成最终输出，或在必要时启动重新规划步骤。这就减少了任何一次 LLM 调用的认知负荷，提高了推理质量，最大限度地减少了错误，并允许对工作流程进行动态调整。与路由的主要区别在于，规划器生成的是多步骤计划，而不是选择单一的下一步。
2025-05-14 10:22:59
75
原创 Agentic Pattern ：Reflection（基于Ollama、langchain、qwen3的代码实现）
这是一个agent的模式，agent会对自己的输出进行评估，并利用反馈不断改进自己的响应。这种模式也被称为 “Evaluator-Optimizer”，并使用自我修正循环。然后，第二个 LLM 步骤（甚至是具有不同提示的同一 LLM）充当反思者或评估者，根据要求或期望质量对初始输出进行批判。这种批评（反馈）会被反馈回去，促使 LLM 产生改进后的输出。如此循环往复，直到评估者确认要求得到满足或实现了令人满意的输出。如下是一个基于Ollama、langchain、qwen3的代码实现例子。
2025-05-14 10:18:18
59
原创 Agentic Pattern ：Parallelization(基于Ollama、langchain、qwen3的代码实现）
这个是一个workflow的Agent 模式，一个任务被分解成多个独立的子任务，由多个 LLM 同时处理，并将其输出汇总。这种模式使用了任务并发功能。所有分支完成后，它们的单独结果会被收集起来并传递给最后的聚合 LLM，后者会将它们合成为最终响应。如果子任务之间不相互依赖，这就能改善延迟，或通过多数表决或生成不同选项等技术提高质量。参考https://www.philschmid.de/agentic-pattern?如下是一个基于Ollama、langchain、qwen3的代码实现例子。
2025-05-14 10:15:28
777
原创 Agentic Pattern ：Routing（基于Ollama、langchain、qwen3的代码实现）
这个是一个workflow的Agent 模式，有一个 LLM 充当路由器，对用户输入进行分类，并将其导向最合适的专门任务或 LLM。这种模式实现了关注点的分离，可以单独优化各个下游任务（使用专门的提示、不同的模型或特定的工具）。它通过对较简单的任务使用较小的模型来提高效率，并有可能降低成本。当任务被路由时，选定的代理将 “接管 ”完成任务的责任。参考https://www.philschmid.de/agentic-pattern?如下是一个基于Ollama、langchain、qwen3的代码实现例子。
2025-05-14 10:12:13
184
原创 Agentic Pattern ：Prompt Chaining（基于Ollama、langchain、qwen3的代码实现）
这个是一个workflow的Agente 模式，一个 LLM 调用的输出依次进入下一个 LLM 调用的输入。这种模式将任务分解为一系列固定的步骤。每一步都由一个 LLM 调用处理前一步LLM处理的输出。这种模式适用于可清晰分解为可预测的顺序子任务的任务。如下是一个基于Ollama、langchain、qwen3的代码实现例子。
2025-05-13 18:04:48
63
原创 LLM 采样参数超详细解释
temperature控制输出文本的随机性和创造性，通过调整模型预测的概率分布。通过缩放模型输出的logits（未归一化的概率）来改变softmax函数的概率分布。temperature设置越低（大概0.1到0.5），越能得到确定性的预测，temperature设置较高高（大于1.0），越不能得到确定性的预测。temperature的Greedy Decode是0，永远选择概率最高的预测，但是这并不是说设置0就是永远输出相同的预测，最高概率的预测有可能不止一个。
2025-05-09 17:25:00
234
原创 LoRA微调的一些术语：“q_proj“, “k_proj“, “v_proj“, “o_proj“, “gate_proj“, “up_proj“, “down_proj“
列“q_proj”、“k_proj”、“v_proj”、“o_proj”、“gate_proj”、“up_proj”、“down_proj”指的是使用LoRA进行微调涉及到的一些components（或者projections）。
2025-05-08 10:56:27
202
原创 LLM的min_p 参数详
Min-p是一种基于截断的随机解码方法，它试图通过引入动态阈值p来解决top-p采样的某些局限性。pmaxmaxv∈VPxtv∣x1xt−1pscaledpbase∗pmaxpmaxpscaledv∈VmaxPxtv∣x1xt−1pbase∗pmax在生成文本时，模型会为每个可能的 token 计算一个概率分布。
2025-05-06 16:11:32
135
原创 AI Agent万能的：什么时候AI Agent可能会好于传统的自动化？
构建AI Agent 并不是选择越大的Model越好，而是应该建立一个AI Agent基线，然后使用目前最好的模型集中全部力量实现AI Agent完成目标任务，接下来使用较小的模型替换现在最好的模型然后评价是否满足基线，能力是否满足要求。传统的自动化系统都是基于确定性的规则处理问题的，但是AI Agent却可以处理更复杂的流程。尽可能的最大化单AI Agent的能力，除非遇见了复杂的处理逻辑需要prompt中加入各种逻辑处理，或者需要大量的tool调用的时候，有可能需要多个AI Agent进行处理。
2025-04-28 10:45:37
325
原创 每一个LLM的使用者都应该能了解的超参详细说明和推荐配置
LLM的Hyper Parameters是一种配置项，可以使用它们来影响或控制训练 LLM 的过程。
2025-04-21 15:22:10
129
ACIS--CAD开发类库7
2009-06-10
ACIS CAD开发类库9
2009-06-10
ACIS--CAD开发类库
2009-06-10
ACIS--CAD开发类库4
2009-06-10
ACIS CAD开发类库8
2009-06-10
ACIS--CAD开发类库6
2009-06-10
为集成LLM到测试平台提供更便捷的方式：为讯飞的LLM星火创建接入LangChain类（全部源代码）
2023-11-02
个人版强制更新破解Xshell5的nslicense.dll
2019-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人