利用Apify和LangChain从Twitter导入数据进行微调-CSDN博客

本文链接：https://blog.csdn.net/bhawfgrcbtwny/article/details/142428938

# 引言

在数据驱动的时代，微调AI模型成为提升性能的关键步骤。本文将介绍如何使用Apify从Twitter导出推文，并利用LangChain将其转换为合适的格式进行微调。

# 主要内容

## Apify与Twitter的数据导出

Apify是一个强大的网络爬虫平台，可以帮助开发者抓取各种网站的数据。对于Twitter的数据获取，由于其API的限制，Apify提供了一种方便的替代方案。

### 使用Apify导出推文

首先，使用Apify的Twitter爬虫工具导出推文数据。

## 转换推文为AI消息

利用LangChain库，我们可以将推文转换为适合AI微调的消息格式。

### 核心代码逻辑

1. 读取JSON格式的推文数据。
2. 过滤掉包含引用链接的推文。
3. 将推文转换为AI消息格式。

```python
import json
from langchain_community.adapters.openai import convert_message_to_dict
from langchain_core.messages import AIMessage

# 假设数据文件名为'dataset_twitter-scraper_2023-08-23_22-13-19-740.json'
with open("example_data/dataset_twitter-scraper_2023-08-23_22-13-19-740.json") as f:
    data = json.load(f)

# 过滤掉引用其他推文的推文
tweets = [d["full_text"] for d in data if "t.co" not in d["full_text"]]

# 将推文转换为AI消息
messages = [AIMessage(content=t) for t in tweets]

# 添加系统消息
system_message = {"role": "system", "content": "write a tweet"}
data = [[system_message, convert_message_to_dict(m)] for m in messages]