深度评估（DeepEval）：LLM评测框架中文使用指南

深度评估（DeepEval）：LLM评测框架中文使用指南

项目地址:https://gitcode.com/gh_mirrors/de/deepeval

---

项目介绍

深度评估（DeepEval） 是一个专为大型语言模型（LLM）输出评测设计的开源框架。它借鉴了Pytest的设计理念，但更加专注于单元测试LLM生成的答案，确保其质量符合预期标准。通过集成最新的研究，如G-Eval等评价方法，DeepEval提供了一系列指标来量化LLM响应的准确性、相关性和其他关键特性。此外，该框架具有高度模块化，便于使用者选择性地运用其内置指标，或是开发自定义评估逻辑，适用于多样化的应用场景。

项目快速启动

环境准备与登录

首先，确保你的系统上已安装Python和Poetry。接着，从GitHub克隆DeepEval项目:

git clone https://github.com/confident-ai/deepeval.git
cd deepeval

为了记录测试结果，建议创建账号并获取API密钥（可选）。通过命令行登录并输入API：

deepeval login

跟随提示进行操作。

运行第一个测试案例

在开始之前，你需要设置一个简单的测试场景。打开或创建文件test_chatbot.py，并加入以下代码来实现一个基本的测试用例：

import pytest
from deepeval import assert_test
from deepeval.metrics import AnswerRelevancyMetric
from deepeval.test_case import LLMTestCase

def test_example():
    answer_relevancy_metric = AnswerRelevancyMetric(threshold=0.7)
    test_case = LLMTestCase(
        input="鞋子如果不合脚怎么办？",
        actual_output="我们提供30天全额退款，无需额外费用。",
        retrieval_context=["所有客户均可享受30天无理由全额退款。"]
    )
    result = assert_test(test_case, [answer_relevancy_metric])
    print(result.metrics[0].score)

运行此测试：

pytest test_chatbot.py

完成测试后，CLI将显示结果链接，你可以通过浏览器查看详细评测报告。

应用案例和最佳实践

在实际应用中，DeepEval可以用于持续监控LLM服务的质量，比如每日自动化运行一组涵盖广泛查询类型的测试用例，确保回应的质量始终如一。最佳实践包括：

• 细化测试场景：为不同类型的问答准备具体的测试案例，覆盖常见、边缘以及异常情况。
• 定制化指标：根据应用需求，调整或开发新的评价指标以适应特定的逻辑判断。
• 整合知识库：利用retrieval_context功能，使评测更贴近实际应用场景，增强结果的相关性。

典型生态项目整合

DeepEval支持与多个生态项目无缝对接，例如LangChain和LlamaIndex，这对于构建基于知识图谱的对话系统尤其有用。通过整合这些工具，开发者能够提升模型的表现力和上下文理解能力。

虽然具体整合步骤未详尽列出，通常涉及导入对应的模块和配置，遵循以下模式：

from langchain import YourComponent  # 假设组件
from deepeval import evaluate

# 在获取到LLM输出后结合DeepEval进行评价
output = YourComponent(query="...")
evaluate(your_metrics_list, LLMTestCase(input=query, actual_output=output))

结合生态系统中的其他工具，DeepEval能帮助开发团队高效评估和优化他们的大型语言模型应用，确保提供的答案既准确又相关。

---

本指南提供了接入和使用DeepEval的基本路径，深入细节和高级用法还需参考官方文档和社区资源。通过这一框架，开发者可以更有效地验证和提升其自然语言处理应用程序的质量。

deepeval The Evaluation Framework for LLMs 项目地址: https://gitcode.com/gh_mirrors/de/deepeval