[使用Telegram Chat Loader轻松转换对话为LangChain消息]

最新推荐文章于 2024-10-04 00:46:18 发布

ahdfwcevnhrtds

最新推荐文章于 2024-10-04 00:46:18 发布

阅读量456

点赞数 4

文章标签： langchain easyui 前端 python

本文链接：https://blog.csdn.net/ahdfwcevnhrtds/article/details/142428903

版权

# 使用Telegram Chat Loader轻松转换对话为LangChain消息

## 引言

在开发自然语言处理应用时，有效地加载和处理聊天记录是一个常见且重要的任务。本篇文章介绍如何使用Telegram Chat Loader将导出的Telegram对话转换为LangChain消息，这一过程将为后续的模型微调、示例选择或消息预测提供便利。

## 主要内容

### 1. 创建消息导出文件

首先，需要从Telegram导出聊天记录。注意，目前（2023/08/23）该加载器最适用于由Telegram桌面应用导出的JSON格式文件。请确认使用正确的应用程序进行导出。

#### 导出步骤：

1. 下载并打开Telegram桌面应用。
2. 选择一个会话。
3. 导航到会话设置（通常为右上角的三个点）。
4. 点击“导出聊天记录”。
5. 取消选择照片和其他媒体，选择“机器可读JSON”格式进行导出。

以下是一个示例文件内容：

```json
{
 "name": "Jiminy",
 "type": "personal_chat",
 "id": 5965280513,
 "messages": [
  ...
 ]
}

2. 创建Chat Loader

有了文件路径，就可以创建TelegramChatLoader。可以选择指定映射为AI消息的用户名，并配置是否合并消息。

from langchain_community.chat_loaders.telegram import TelegramChatLoader

loader = TelegramChatLoader(
    path="./telegram_conversation.json",
)

3. 加载消息

使用load()或lazy_load()方法返回当前加载对话的消息列表。

from langchain_community.chat_loaders.utils import (
    map_ai_messages,
    merge_chat_runs,
)
from langchain_core.chat_sessions import ChatSession
from typing import List

raw_messages = loader.lazy_load()
merged_messages = merge_chat_runs(raw_messages)
messages: List[ChatSession] = list(
    map_ai_messages(merged_messages, sender="Jiminy Cricket")
)

4. 使用转换后的消息

加载并处理消息后，可以进行模型微调、示例选择或直接对新消息进行预测。

from langchain_openai import ChatOpenAI

llm = ChatOpenAI()

for chunk in llm.stream(messages[0]["messages"]):
    print(chunk.content, end="", flush=True)