使用TokenCountingHandler来跟踪AI模型的Token使用情况

本文将介绍如何使用TokenCountingHandler来跟踪你的提示词、完成和嵌入的token使用情况。我们将使用LlamaIndex库，并演示如何通过代码进行设置和使用。

环境设置

首先，我们需要安装LlamaIndex库。如果你在Colab上运行此代码，请确保安装该库：

%pip install llama-index-llms-openai
!pip install llama-index

然后，我们进行一些必要的设置：

import os
import tiktoken
from llama_index.core.callbacks import CallbackManager, TokenCountingHandler
from llama_index.llms.openai import OpenAI
from llama_index.core import Settings

# 设置OpenAI API密钥
os.environ["OPENAI_API_KEY"] = "sk-..."

# 初始化token计数器
token_counter = TokenCountingHandler(
    tokenizer=tiktoken.encoding_for_model("gpt-3.5-turbo").encode
)

# 设置全局参数
Settings.llm = OpenAI(model="gpt-3.5-turbo", temperature=0.2)
Settings.callback_manager = CallbackManager([token_counter