OpenEvals 使用与启动指南

OpenEvals 使用与启动指南

openevals 项目地址: https://gitcode.com/gh_mirrors/op/openevals

1. 项目介绍

OpenEvals 是一个开源项目，旨在帮助开发者为其大型语言模型（LLM）应用程序编写评估（evals）。类似于传统软件中的测试，评估是让 LLM 应用程序投入生产的重要环节。OpenEvals 提供了一系列预制的评估器和工具，帮助开发者从基本评估开始，并逐步编写针对其应用程序的定制评估。

2. 项目快速启动

安装

首先，您需要安装 OpenEvals。根据您的编程语言选择以下安装命令：

对于 Python：

pip install openevals

对于 TypeScript：

npm install openevals @langchain/core

设置 OpenAI API Key

为了使用 OpenEvals 中的某些评估器，您需要设置 OpenAI API 密钥。在命令行中设置环境变量：

export OPENAI_API_KEY="your_openai_api_key"

运行第一个评估

以下是一个使用 Python 运行 OpenEvals 的示例：

from openevals.llm import create_llm_as_evaluator
from openevals.prompts import CONCISENESS_PROMPT

# 创建评估器
conciseness_evaluator = create_llm_as_evaluator(
    prompt=CONCISENESS_PROMPT,
    model="openai:o3-mini"
)

# 输入示例
inputs = "How is the weather in San Francisco?"

# 输出示例（在实际使用中，这将是从您的 LLM 应用程序中获得的输出）
outputs = "Thanks for asking! The current weather in San Francisco is sunny and 90 degrees."

# 执行评估
eval_result = conciseness_evaluator(
    inputs=inputs,
    outputs=outputs
)

# 打印评估结果
print(eval_result)

输出结果可能如下：

{
    'key': 'score',
    'score': False,
    'comment': 'The output includes an unnecessary greeting ("Thanks for asking!") and extra...'
}

3. 应用案例和最佳实践

OpenEvals 可以用于多种应用场景，例如：

• 评估文本输出的简洁性
• 检查回答的正确性
• 识别输出中的虚构内容（hallucinations）

最佳实践包括：

• 使用预制的评估器作为起点，然后根据需要自定义。
• 在真实的应用程序输出上运行评估器，而不是使用硬编码的示例。
• 根据评估器的反馈调整您的 LLM 应用程序的输出。

4. 典型生态项目

OpenEvals 是 LangChain 生态系统的一部分，它包含了多个与语言模型相关的开源项目。以下是一些典型的生态项目：

• LangChain：用于构建和部署基于 LLM 的应用程序的框架。
• AgentEvals：专门用于评估 LLM 代理的输出。
• LangSmith：提供工具和库来帮助开发者在 LLM 应用程序中实现更好的性能和可解释性。

通过这些项目，开发者可以构建更强大的 LLM 应用程序，并确保它们以最佳方式运行。

openevals 项目地址: https://gitcode.com/gh_mirrors/op/openevals