[如何高效修剪消息：确保上下文窗口的最佳利用]

最新推荐文章于 2024-09-26 11:55:47 发布

afTFODguAKBF

最新推荐文章于 2024-09-26 11:55:47 发布

阅读量234

点赞数 3

文章标签： python

本文链接：https://blog.csdn.net/afTFODguAKBF/article/details/142549556

版权

# 如何高效修剪消息：确保上下文窗口的最佳利用

## 引言

在使用自然语言处理（NLP）模型进行对话或任务时，我们常常受到上下文窗口的限制。这意味着我们需要管理传递给模型的消息长度，以避免超过模型的输入限制。本篇文章介绍了如何使用`trim_messages`工具来修剪消息列表，以适应特定的令牌长度。

## 主要内容

### 消息修剪的策略

`trim_messages`工具提供了几种修剪消息列表以满足特定令牌长度的策略：

- **最后的消息**：获取消息列表中最后的最大令牌数量。
- **第一消息**：获取第一组消息中的最大令牌数量。
- **包含系统消息**：确保初始系统消息总是被保留。

### 使用`trim_messages`工具

以下是使用`trim_messages`的代码示例。我们将使用`ChatOpenAI`作为示例语言模型，演示如何调整消息长度。

```python
# 安装必要的库
# pip install -U langchain-openai

from langchain_core.messages import (
    AIMessage,
    HumanMessage,
    SystemMessage,
    trim_messages,
)
from langchain_openai import ChatOpenAI

# 初始化消息列表
messages = [
    SystemMessage("you're a good assistant, you always respond with a joke."),
    HumanMessage("i wonder why it's called langchain"),
    AIMessage('Well, I guess they thought "WordRope" and "SentenceString" just didn\'t have the same ring to it!'),
    HumanMessage("and who is harrison chasing anyways"),
    AIMessage("Hmmm let me think.\n\nWhy, he's probably chasing after the last cup of coffee in the office!"),
    HumanMessage("what do you call a speechless parrot"),
]

# 修剪消息示例
trimmed_messages = trim_messages(
    messages,
    max_tokens=45,
    strategy="last",
    token_counter=ChatOpenAI(model="gpt-4o"), # 使用API代理服务提高访问稳定性
)

print(trimmed_messages)

想要保留系统消息

如果你希望系统消息始终被保留，可以设置include_system=True：

trimmed_messages_with_system = trim_messages(
    messages,
    max_tokens=45,
    strategy="last",
    token_counter=ChatOpenAI(model="gpt-4o"),
    include_system=True,
)

自定义令牌计数器

你也可以定义自己的令牌计数器功能，以适应自定义的消息处理需求：

from typing import List
import tiktoken
from langchain_core.messages import BaseMessage

def custom_token_counter(messages: List[BaseMessage]) -> int:
    enc = tiktoken.get_encoding("o200k_base")
    num_tokens = sum(len(enc.encode(msg.content)) for msg in messages)
    return num_tokens

# 使用自定义令牌计数器
trimmed_messages_custom = trim_messages(
    messages,
    max_tokens=45,
    strategy="last",
    token_counter=custom_token_counter,
)