1-6jsonl格式文件开源文件转星火文件

coleman114

已于 2024-04-26 16:23:27 修改

阅读量123

点赞数 3

分类专栏：自然语言处理文章标签： python

于 2024-04-10 20:15:58 首次发布

本文链接：https://blog.csdn.net/coleman114/article/details/137609210

版权

自然语言处理专栏收录该内容

12 篇文章 0 订阅

订阅专栏

本文介绍了如何使用Python读取名为SFT_智能家居_small.jsonl的开源JSON文件，删除不必要的字段如instruction和output，然后将其转换为星火格式并保存为outputxml0408.jsonl，最后将处理后的数据导出为Excel文件。

摘要由CSDN通过智能技术生成

开源代码的文件格式和星火文件格式有差异，使用python将开源格式文件转化成星火文件：

import json import jsonlines x=[] with open('SFT_智能家居_small.jsonl', 'r',encoding='utf-8') as f: for line in f: data = json.loads(line) if 'instruction' in data: del data['instruction'] if 'output' in data: data['target']=data.pop('output') x.append(data) with jsonlines.open('outputxml0408.jsonl','w')as file: file.write_all(x) import pandas as pd # 读取数据 data = pd.DataFrame(x) # 将数据保存为Excel文件 data.to_excel('outputxml0408.xlsx', index=False)

import json
import jsonlines
x=[]
with open('SFT_智能家居_small.jsonl', 'r',encoding='utf-8') as f:
    for line in f:
        data = json.loads(line)
        if 'instruction' in  data:
            del data['instruction']
        if 'output' in data:
            data['target']=data.pop('output')
        x.append(data)
with jsonlines.open('outputxml0408.jsonl','w')as file:
    file.write_all(x)
import pandas as pd

# 读取数据
data = pd.DataFrame(x)

# 将数据保存为Excel文件
data.to_excel('outputxml0408.xlsx', index=False)