Opik - 开源 LLM 评估平台

---

一、关于 Opik

Opik是一个开源平台，用于评估、测试和监控LLM应用程序。由Comet构建。

从RAG聊天机器人到代码助理，再到复杂的代理管道等等，构建LLM系统，通过跟踪、评估和仪表盘运行得更好、更快、更便宜。

• 官网：https://www.comet.com/site/products/opik/
• 官方文档：https://www.comet.com/docs/opik/
• Docker ： https://github.com/comet-ml/opik/actions/workflows/build_apps.yml
• Slack | Twitter

---

功能

您可以使用Opik进行以下操作：

• 开发：
  • 跟踪 Tracing： 在开发和生产过程中跟踪所有LLM调用和跟踪（快速启动，集成
  • 注释 ： 通过使用 Python SDK or the UI 记录反馈分数来注释LLM调用
  • Playground ： 在 prompt playground 使用不同的提示词和模型
• 评估 ：让你的LLM 应用的评估流程自动化
  • 数据集和实验：存储测试用例并运行实验（数据集，评估您的LLM申请)
  • LLM作为判断指标：使用Opik的LLM作为判断指标，用于 hallucination detection, moderation 和 RAG 评估 (Answer Relevance, Context Precision
  • CI/CD集成：使用我们的 PyTest integration 作为CI/CD管道的一部分运行评估
• 生产监控：
  • 记录所有生产跟踪：Opik设计用于支持大量跟踪，便于监视生产应用程序。即使是小型部署，每天也可以接收超过4000万条跟踪！
  • 监控仪表板：查看 Opik Dashboard 中随时间变化的反馈分数、跟踪计数和标记。
  • 在线评估指标：使用LLM作为评判指标，轻松为所有生产跟踪打分，并通过 Opik’s online evaluation metrics 确定生产LLM应用程序的任何问题。

---

TIP：如果您正在寻找Opik今天没有的功能，请提出一个新的GitHub讨论主题 🚀

---

二、🛠️ 安装

Opik可以作为完全开源的本地安装或使用 Comet.com 作为托管解决方案提供。开始使用Opik的最简单方法是创建一个免费的Comet账户，在comet.com。

如果您想自己托管Opik，可以通过克隆存储库并使用 Docker Compose 启动平台来实现：

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the opik/deployment/docker-compose directory
cd opik/deployment/docker-compose

# Start the Opik platform
docker compose up --detach

# You can now visit http://localhost:5173 on your browser!

---

关于不同的部署选项的更多信息，请参阅我们的部署指南：

安装方法	文档链接
本地实例	Local Deployments
Kubernetes	Kubernetes

---

三、🏁 开始使用

要开始使用，您首先需要安装 Python SDK：

pip install opik

---

一旦 SDK 安装完毕，您可以通过运行 opik configure 命令来配置它：

opik configure

---

这将允许您通过设置正确的本地服务器地址来本地配置 Opik，或者如果您正在使用云平台，可以通过设置 API 密钥来配置。

TIP：您也可以从您的 Python 代码中调用 opik.configure(use_local=True) 方法来配置 SDK 在本地安装上运行。

现在，您可以使用 Python SDK 开始记录跟踪。

---

1、📝 记录跟踪

开始的最简单方法是使用我们的其中一个集成。Opik 支持：

Integration	Description	Documentation	Try in Colab
OpenAI	Log traces for all OpenAI LLM calls	Documentation	Open Quickstart In Colab
LiteLLM	Call any LLM model using the OpenAI format	Documentation	Open Quickstart In Colab
LangChain	Log traces for all LangChain LLM calls	Documentation	Open Quickstart In Colab
Haystack	Log traces for all Haystack calls	Documentation	Open Quickstart In Colab
Anthropic	Log traces for all Anthropic LLM calls	Documentation	Open Quickstart In Colab
Bedrock	Log traces for all Bedrock LLM calls	Documentation	Open Quickstart In Colab
CrewAI	Log traces for all CrewAI calls	Documentation	Open Quickstart In Colab
DeepSeek	Log traces for all DeepSeek LLM calls	Documentation
DSPy	Log traces for all DSPy runs	Documentation	Open Quickstart In Colab
Gemini	Log traces for all Gemini LLM calls	Documentation	Open Quickstart In Colab
Groq	Log traces for all Groq LLM calls	Documentation	Open Quickstart In Colab
Guardrails	Log traces for all Guardrails validations	Documentation	Open Quickstart In Colab
Instructor	Log traces for all LLM calls made with Instructor	Documentation	Open Quickstart In Colab
LangGraph	Log traces for all LangGraph executions	Documentation	Open Quickstart In Colab
LlamaIndex	Log traces for all LlamaIndex LLM calls	Documentation	Open Quickstart In Colab
Ollama	Log traces for all Ollama LLM calls	Documentation	Open Quickstart In Colab
Predibase	Fine-tune and serve open-source Large Language Models	Documentation	Open Quickstart In Colab
Ragas	Evaluation framework for your Retrieval Augmented Generation (RAG) pipelines	Documentation	Open Quickstart In Colab
watsonx	Log traces for all watsonx LLM calls	Documentation	Open Quickstart In Colab

---

TIP ： 如果您正在使用的框架未列在上述内容中，请随时 提交问题 或提交包含集成的 PR。

---

如果您没有使用上述任何框架，您也可以使用 track 函数装饰器来 记录跟踪:

import opik

opik.configure(use_local=True) # Run locally

@opik.track
def my_llm_function(user_question: str) -> str:
    # Your LLM code here

    return "Hello"

---

TIP：轨迹装饰器可以与我们的任何集成一起使用，也可以用于跟踪嵌套函数调用。

---

2、🧑‍⚖️ 作为法官的LLM指标

Python Opik SDK 包含了多个作为法官的LLM指标，以帮助您评估您的LLM应用程序。在指标文档中了解更多信息。

要使用它们，只需导入相关的指标并使用 score 函数：

from opik.evaluation.metrics import Hallucination

metric = Hallucination()
score = metric.score(
    input="What is the capital of France?",
    output="Paris",
    context=["France is a country in Europe."]
)
print(score)

---

Opik 还包括许多预构建的启发式指标，以及创建您自己的指标的能力。在 指标文档 中了解更多信息。

---

3、🔍 评估您的 LLM 应用程序

Opik 允许您在开发过程中通过 数据集 和 实验 评估您的 LLM 应用程序。

您还可以使用我们的 PyTest 集成 将评估作为 CI/CD 管道的一部分运行。

---

2025-03-11（二）