[解锁Telegram对话数据：如何高效导出和利用聊天记录]

最新推荐文章于 2024-10-06 21:49:48 发布

aehrutktrjk

最新推荐文章于 2024-10-06 21:49:48 发布

阅读量249

点赞数 4

文章标签：数据库前端 python

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142290402

版权

## 引言

在当今的数字化世界中，聊天数据是一种重要的资源。特别是对于开发者和数据科学家来说，从Telegram等平台导出和处理聊天记录可能带来许多机遇。本文将指导您如何使用LangChain库中的Telegram聊天加载器，将导出的聊天记录转化为有用的LangChain聊天消息。

## 主要内容

### 1. 导出聊天记录

首先，我们需要从Telegram导出聊天记录。目前，最佳实践是在Telegram桌面应用中导出JSON格式的聊天历史。请注意，一些轻量版应用（如"Telegram for MacOS"）可能不具备此功能。

**步骤：**
1. 下载并打开Telegram桌面应用。
2. 选择一个会话。
3. 导航到会话设置（目前是右上角的三个点）。
4. 点击"导出聊天历史"。
5. 为了简化处理，请取消选择照片和其他媒体，选择“机器可读JSON”格式导出。

以下是示例文件：

```json
{
 "name": "Jiminy",
 "type": "personal_chat",
 "id": 5965280513,
 "messages": [
  {
   "id": 1,
   "type": "message",
   "date": "2023-08-23T13:11:23",
   "from": "Jiminy Cricket",
   "from_id": "user123450513",
   "text": "You better trust your conscience"
  },
  {
   "id": 2,
   "type": "message",
   "date": "2023-08-23T13:13:20",
   "from": "Batman & Robin",
   "from_id": "user6565661032",
   "text": "What did you just say?"
  }
 ]
}

2. 创建聊天加载器

接下来，我们使用TelegramChatLoader类处理导出的文件。只需指定文件路径，您还可以选择映射“AI消息”的发送者或决定是否合并连续消息。

from langchain_community.chat_loaders.telegram import TelegramChatLoader

loader = TelegramChatLoader(
    path="./telegram_conversation.json",  # 替换为您的文件路径
)

3. 加载消息

使用load()或lazy_load()方法将聊天记录加载为消息列表，并利用工具函数进行数据加工。

from typing import List
from langchain_community.chat_loaders.utils import (
    map_ai_messages,
    merge_chat_runs,
)
from langchain_core.chat_sessions import ChatSession

raw_messages = loader.lazy_load()
merged_messages = merge_chat_runs(raw_messages)  # 合并连续消息
messages: List[ChatSession] = list(
    map_ai_messages(merged_messages, sender="Jiminy Cricket")  # 将特定发送者转换为AI消息
)

代码示例

接下来的步骤展示如何利用这些消息进行模型微调或进行预测。

from langchain_openai import ChatOpenAI

llm = ChatOpenAI()

for chunk in llm.stream(messages[0]["messages"]):
    print(chunk.content, end="", flush=True)