大语言数据准备-数据转jsonl

import pandas as pd

# 1. 读取Excel文件
excel_file_path = 'test.xlsx'
df = pd.read_excel(excel_file_path, engine='openpyxl')

# 2. 将包含中文字符的列转换为Unicode编码
for col in df.columns:
    if df[col].dtype == 'object':
        df[col] = df[col].astype(str)
        df[col] = df[col].apply(lambda x: x.encode('unicode_escape').decode('utf-8'))

# 3. 将转换后的数据保存为JSONL格式
df.to_json(orient='records', lines=True, path_or_buf='231110.jsonl')

通过上述代码将得到一个jsonl文件，为大模型数据微调做准备。