微信聊天记录导出与自定义处理：利用LangChain构建高效聊天加载器

本文链接：https://blog.csdn.net/lajoqfyqgf/article/details/144356987

# 微信聊天记录导出与自定义处理：利用LangChain构建高效聊天加载器

## 引言

对于许多用户来说，从微信中导出个人聊天记录一直以来是一项挑战。当你需要这些信息用于模型微调或作为几次示例输入时，手动导出变得更加重要。本篇文章将向你展示如何创建一个高效的微信聊天加载器，以便从复制粘贴的聊天记录中生成LangChain消息。

## 主要内容

### 1. 创建消息转储

首先，我们需要从微信桌面应用程序中打开聊天界面，并通过鼠标拖拽或右键点击选择最多100条消息。然后使用`CMD/Ctrl+C`复制这些信息，并粘贴到本地计算机上的一个`.txt`文件中。以下是这种格式的示例。

```plaintext
女朋友 2023/09/16 2:51 PM
天气有点凉

男朋友 2023/09/16 2:51 PM
珍簟凉风著，瑶琴寄恨生。嵇君懒书札，底物慰秋情。

女朋友 2023/09/16 3:06 PM
忙什么呢

男朋友 2023/09/16 3:06 PM
今天只干成了一件像样的事
那就是想你

女朋友 2023/09/16 3:06 PM
[动画表情]

2. 定义聊天加载器

接下来，我们将定义一个简单的聊天加载器，解析粘贴的文本消息并将其转换为LangChain支持的消息对象。

import logging
import re
from typing import Iterator, List
from langchain_community.chat_loaders import base as chat_loaders
from langchain_core.messages import BaseMessage, HumanMessage

logger = logging.getLogger()

class WeChatChatLoader(chat_loaders.BaseChatLoader):
    def __init__(self, path: str):
        self.path = path
        self._message_line_regex = re.compile(
            r"(?P<sender>.+?) (?P<timestamp>\d{4}/\d{2}/\d{2} \d{1,2}:\d{2} (?:AM|PM))",
        )

    def _append_message_to_results(self, results: List, current_sender: str, current_timestamp: str, current_content: List[str]):
        content = "\n".join(current_content).strip()
        if not re.match(r"\[.*\]", content):
            results.append(
                HumanMessage(
                    content=content,
                    additional_kwargs={"sender": current_sender, "events": [{"message_time": current_timestamp}]},
                )
            )
        return results

    def _load_single_chat_session_from_txt(self, file_path: str) -> chat_loaders.ChatSession:
        with open(file_path, "r", encoding="utf-8") as file:
            lines = file.readlines()

        results: List[BaseMessage] = []
        current_sender = None
        current_timestamp = None
        current_content = []
        for line in lines:
            if re.match(self._message_line_regex, line):
                if current_sender and current_content:
                    results = self._append_message_to_results(results, current_sender, current_timestamp, current_content)
                current_sender, current_timestamp = re.match(self._message_line_regex, line).groups()
                current_content = []
            else:
                current_content.append(line.strip())

        if current_sender and current_content:
            results = self._append_message_to_results(results, current_sender, current_timestamp, current_content)

        return chat_loaders.ChatSession(messages=results)

    def lazy_load(self) -> Iterator[chat_loaders.ChatSession]:
        yield self._load_single_chat_session_from_txt(self.path)

3. 创建加载器并加载消息

通过指向我们之前创建的.txt文件，初始化加载器并加载消息。

loader = WeChatChatLoader(path="./wechat_chats.txt")

from typing import List
from langchain_community.chat_loaders.utils import map_ai_messages, merge_chat_runs
from langchain_core.chat_sessions import ChatSession

raw_messages = loader.lazy_load()
merged_messages = merge_chat_runs(raw_messages)
messages: List[ChatSession] = list(map_ai_messages(merged_messages, sender="男朋友"))