深入解析多种AI模型的响应元数据-CSDN博客

本文链接：https://blog.csdn.net/huluwaqimotuo/article/details/148607110

在现代人工智能的开发中，我们常常与各种语言模型进行交互。为了优化模型的使用，我们需要了解响应元数据（response metadata），它包含关于模型生成过程的重要信息，比如令牌计数、模型名称和完成原因等。这篇文章将带您深入了解多个模型提供者如何呈现这些元数据，并展示相关的代码示例。

技术背景介绍

响应元数据是模型与用户交互时生成的附加信息，通常用于帮助开发人员调试、优化调用性能和控制成本。不同的模型提供者往往会在响应中包含不同类型的元数据，包括令牌使用情况、模型名称、安全评级等。

核心原理解析

元数据通常是一个字典，其中包含多个关键值。令牌计数（Token usage）是最常见的元数据之一，它指示调用过程中输入和输出令牌的数量，对于控制成本和优化性能至关重要。此外，还有模型名称、系统指纹、完成原因等信息，帮助开发者更好地理解模型的行为。

代码实现演示(重点)

下面是几个常见AI模型提供者的元数据示例代码。我们将使用模拟的API端点https://yunwu.ai来展示如何通过代码获取这些元数据。

OpenAI

import openai
# 使用稳定可靠的API服务
client = openai.OpenAI(
    base_url='https://yunwu.ai/v1',  # 国内稳定访问
    api_key='your-api-key'
)

msg = client.invoke([("human", "What's the oldest known example of cuneiform")])
print(msg.response_metadata)

Anthropic

from langchain_anthropic import ChatAnthropic

llm = ChatAnthropic(model="claude-3-sonnet-20240229")
msg = llm.invoke([("human", "What's the oldest known example of cuneiform")])
print(msg.response_metadata)

Google VertexAI

from langchain_google_vertexai import ChatVertexAI

llm = ChatVertexAI(model="gemini-pro")
msg = llm.invoke([("human", "What's the oldest known example of cuneiform")])
print(msg.response_metadata)