掌握LLM代币使用量追踪：LangChain的实用指南

llzwxh888

于 2024-09-18 07:17:39 发布

阅读量146

点赞数 2

文章标签： langchain java 人工智能 python

本文链接：https://blog.csdn.net/ppoojjj/article/details/142322560

版权

# 掌握LLM代币使用量追踪：LangChain的实用指南

随着语言模型（LLM）在应用程序中的普及，追踪代币使用量成为计算成本的重要部分。本文将介绍如何通过LangChain模型调用获取代币使用信息。

## 引言

在将您的应用程序投入生产环境之前，了解GPT-3.5等LLM的代币使用情况是至关重要的。本文将引导您通过LangChain跟踪代币使用，并计算相关成本。

## 主要内容

### 先决条件

本文假设您已经熟悉以下概念：

- LLM（大语言模型）
- 使用LangSmith进行监控

### 使用LangSmith

您可以使用LangSmith帮助您跟踪LLM应用程序中的代币使用情况。请参阅LangSmith快速入门指南。

### 使用回调

一些API特定的回调上下文管理器允许您跨多次调用跟踪代币使用。您需要检查是否为您的特定模型提供了这样的集成。

如果没有，您可以通过自定义回调管理器以适应OpenAI的回调管理器实现。

### OpenAI示例

让我们首先看看如何简单地跟踪一次聊天模型调用的代币使用。

```python
from langchain_community.callbacks import get_openai_callback
from langchain_openai import OpenAI

llm = OpenAI(model_name="gpt-3.5-turbo-instruct")

with get_openai_callback() as cb:
    result = llm.invoke("Tell me a joke")
    print(result)
    print("---")
print()

print(f"Total Tokens: {cb.total_tokens}")
print(f"Prompt Tokens: {cb.prompt_tokens}")
print(f"Completion Tokens: {cb.completion_tokens}")
print(f"Total Cost (USD): ${cb.total_cost}")

输出示例：

Why don't scientists trust atoms?

Because they make up everything.
---

Total Tokens: 18
Prompt Tokens: 4
Completion Tokens: 14
Total Cost (USD): $3.4e-05

多次调用

在上下文管理器内的任何内容都会被追踪。以下是如何在链中跟踪多次调用的示例。

from langchain_community.callbacks import get_openai_callback
from langchain_core.prompts import PromptTemplate
from langchain_openai import OpenAI

llm = OpenAI(model_name="gpt-3.5-turbo-instruct")

template = PromptTemplate.from_template("Tell me a joke about {topic}")
chain = template | llm

with get_openai_callback() as cb:
    response = chain.invoke({"topic": "birds"})
    print(response)
    response = chain.invoke({"topic": "fish"})
    print("--")
    print(response)

print()
print("---")
print(f"Total Tokens: {cb.total_tokens}")
print(f"Prompt Tokens: {cb.prompt_tokens}")
print(f"Completion Tokens: {cb.completion_tokens}")
print(f"Total Cost (USD): ${cb.total_cost}")

输出示例：

Why did the chicken go to the seance?

To talk to the other side of the road!
--

Why did the fish need a lawyer?

Because it got caught in a net!

---
Total Tokens: 50
Prompt Tokens: 12
Completion Tokens: 38
Total Cost (USD): $9.400000000000001e-05