paramount 开源项目使用教程

paramount 开源项目使用教程

paramount Agent accuracy measurements for LLMs 项目地址: https://gitcode.com/gh_mirrors/pa/paramount

本教程将引导您了解并使用 paramount 这一强大的工具，它旨在帮助您通过专家代理评估人工智能聊天质量，确保质量控制、捕获地面真相，并实施自动化回归测试。以下是关键模块的详细介绍：

1. 项目目录结构及介绍

- paramount             # 主项目根目录
    ├── dockerignore     # Docker 忽略文件
    ├── dockerfile       # Docker 配置文件，分为客户端和服务端
        ├── client        # 客户端Dockerfile
        ├── server        # 服务端Dockerfile
    ├── gitignore         # Git忽略文件
    ├── LICENSE           # 许可证文件，遵循GPL-3.0
    ├── MANIFEST.in      # 工程构建时包含文件清单
    ├── Makefile          # 构建和管理任务的脚本
    ├── README.md         # 项目主要文档，介绍项目功能和快速入门指南
    ├── example.py        # 示例脚本，展示如何集成paramount到您的代码中
    ├── paramount.toml.example  # 配置文件示例，指导如何设置输入输出参数等
    ├── setup.py          # Python包安装初始化文件
    ├── usage.gif         # 展示应用使用的动态图

项目核心在于其Python脚本和配置文件。example.py提供了一个简单的起点，而paramount.toml（或其示例）是定制行为的关键。

2. 项目的启动文件介绍

启动paramount项目并不直接涉及一个典型的单一“启动文件”，而是通过一系列步骤完成。然而，从开发角度来看，以下几个点至关重要：

• 服务端启动：如果您选择不使用Docker，您需要确保您的AI函数已部署，且可以通过配置的URL访问。随后，运行paramount UI或API服务需按照配置进行。

• 客户端集成：在Python项目中，通过pip install paramount后，引入装饰器@paramount.record()来标记您的AI逻辑函数，比如通过example.py示例进行快速集成。

• Docker方式启动:

  • 使用提供的Dockerfile.server构建服务器容器：docker build -t paramount-server -f Dockerfile.server .
  • 运行该容器并将配置文件映射进来：docker run -dp 9001:9001 -v ${PWD}/paramount.toml:/app/paramount.toml paramount-server

3. 项目的配置文件介绍

配置文件paramount.toml是管理paramount行为的核心。以下是一些关键部分：

[record]
enabled = true            # 是否启用记录功能
function_url = "..."      # 指向您的AI服务的URL

[db]
type = "csv"               # 数据库类型，支持CSV或Postgres
[type.postgres]
connection_string = ""   # Postgres连接字符串（当选用Postgres时）

[api]
endpoint = "..."
port = ...                # paramount UI和API的服务端口

[ui]
meta_cols = ['recorded_at']
input_cols, output_cols = [...]
# 分别定义UI显示的元数据列，输入输出参数列，对应于您的AI函数输入输出

[chat]
# 针对聊天结构的配置，如OpenAI格式，描述如何展示对话
chat_list, chat_list_role_param, chat_list_content_param = "...", "...", "..."

此配置允许您自定义数据存储方式、API交互细节以及用户界面展示的内容，确保项目能够适应不同的应用场景需求。

---

综上所述，paramount项目通过灵活的配置和清晰的架构设计，为人工智能应用的质量保障提供了强大的支持。正确配置并集成到您的工作流后，可以显著提升AI系统的反馈循环效率和准确性。

paramount Agent accuracy measurements for LLMs 项目地址: https://gitcode.com/gh_mirrors/pa/paramount