使用LangChain跟踪Chat模型的Token使用

jaioyfpo

于 2024-10-03 21:00:08 发布

阅读量129

点赞数 3

文章标签： langchain python

本文链接：https://blog.csdn.net/jaioyfpo/article/details/142696165

版权

# 如何在Chat模型中跟踪Token使用

## 引言

在使用Chat模型进行生产级应用时，跟踪Token使用是计算成本的重要一环。这篇文章将介绍如何通过LangChain模型调用来获取这一信息。

## 主要内容

### 1. 前置条件

本文假设读者已了解以下概念：
- Chat模型
- Token使用跟踪

要使用本指南，您需要安装`langchain-openai >= 0.1.9`。

```bash
%pip install --upgrade --quiet langchain langchain-openai

2. 使用LangSmith

LangSmith可以帮助您在LLM应用中跟踪Token使用。请参考LangSmith快速入门指南以获取更多信息。

3. 使用AIMessage的usage_metadata

一些模型提供商会在响应中返回Token使用信息。这些信息会包含在LangChain的AIMessage对象中的usage_metadata属性中，该属性是一个包含标准键的字典（例如，input_tokens和output_tokens）。

示例

OpenAI:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(model="gpt-3.5-turbo-0125")
openai_response = llm.invoke("hello")
print(openai_response.usage_metadata)
# 输出: {'input_tokens': 8, 'output_tokens': 9, 'total_tokens': 17}

Anthropic:

from langchain_anthropic import ChatAnthropic

llm = ChatAnthropic(model="claude-3-haiku-20240307")
anthropic_response = llm.invoke("hello")
print(anthropic_response.usage_metadata)
# 输出: {'input_tokens': 8, 'output_tokens': 12, 'total_tokens': 20}

代码示例

1. 使用流媒体跟踪Token使用

llm = ChatOpenAI(model="gpt-3.5-turbo-0125", stream_usage=True)

aggregate = None
for chunk in llm.stream("hello", stream_usage=True):
    print(chunk)
    aggregate = chunk if aggregate is None else aggregate + chunk

print(aggregate.content)
print(aggregate.usage_metadata)
# 使用API代理服务提高访问稳定性