TensorZero开源程序创建了一个反馈循环来优化 LLM 应用程序，将生产数据转化为更智能、更快、更便宜的模型-CSDN博客

本文链接：https://blog.csdn.net/struggle2025/article/details/147666196

一、软件介绍

文末提供程序和源码下载

TensorZero 是一个开源框架，用于构建生产级 LLM 应用程序。它统一了 LLM 网关、可观测性、优化、评估和实验。

集成我们的模型网关
发送指标或反馈
优化提示、模型和推理策略
观察您的 LLM 随时间推移而改进

它通过统一以下功能为 LLMs 提供了一个数据和学习 ：

推理： 一个 API 适用于所有 LLM，<1ms P99 开销
可观察性：→您的数据库进行推理和反馈
优化： 从提示到微调和 RL
评估： 比较提示、模型、推理策略
实验： 内置 A/B 测试、路由、回退

二、TensorZero 与其他 LLM 框架有何不同？

1. TensorZero 使您能够根据生产指标和人工反馈优化复杂的 LLM 应用程序。
2. TensorZero 支持工业规模的 LLM 应用程序的需求：低延迟、高吞吐量、类型安全、自托管、GitOps、可定制性等。
3. TensorZero 统一了整个 LLMOps 堆栈，创造了复合优势。例如，LLM 评估可用于与 AI 评委一起微调模型。

支持所有主要编程语言。您可以将 TensorZero 与我们的 Python 客户端、任何 OpenAI SDK 或我们的 HTTP API 一起使用。

TensorZero 是 100% 自托管和开源的。没有付费功能。

三、用法： Python — TensorZero 客户端（推荐）

您可以使用 TensorZero Python 客户端访问任何提供程序。

pip install tensorzero
pip 安装 tensorzero
Optional: Set up the TensorZero configuration.
可选：设置 TensorZero 配置。
Run inference: 运行推理：

from tensorzero import TensorZeroGateway  # or AsyncTensorZeroGateway


with TensorZeroGateway.build_embedded(clickhouse_url="...", config_file="...") as client:
    response = client.inference(
        model_name="openai::gpt-4o-mini",
        # Try other providers easily: "anthropic::claude-3-7-sonnet-20250219"
        input={
            "messages": [
                {
                    "role": "user",
                    "content": "Write a haiku about artificial intelligence.",
                }
            ]
        },
    )

See Quick Start for more information.

用法： Python — OpenAI 客户端

You can access any provider using the OpenAI Python client with TensorZero.
您可以使用带有 TensorZero 的 OpenAI Python 客户端访问任何提供程序。

pip install tensorzero
pip 安装 tensorzero
Optional: Set up the TensorZero configuration.
可选：设置 TensorZero 配置。
Run inference: 运行推理：

from openai import OpenAI  # or AsyncOpenAI
from tensorzero import patch_openai_client

client = OpenAI()

patch_openai_client(
    client,
    clickhouse_url="http://chuser:chpassword@localhost:8123/tensorzero",
    config_file="config/tensorzero.toml",
    async_setup=False,
)

response = client.chat.completions.create(
    model="tensorzero::model_name::openai::gpt-4o-mini",
    # Try other providers easily: "tensorzero::model_name::anthropic::claude-3-7-sonnet-20250219"
    messages=[
        {
            "role": "user",
            "content": "Write a haiku about artificial intelligence.",
        }
    ],
)