Python：jsonl文件转json文件，并做字段处理

在使用LLaMA-Factory对shenzhi-wang/Llama3-8B-Chinese-Chat（https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat/tree/main）进行微调时，希望使用COIG-CQIA的小红书数据集（https://huggingface.co/datasets/m-a-p/COIG-CQIA/tree/main/xhs）。

由于该数据集为jsonl格式，所以使用python转为json格式。

原格式：

{"instruction": "写一篇小红书风格的帖子，标题是免费送！超耐摔高档行李箱+送贴纸箱套", "input": "", "output": "免费送！爱麦士行李箱实力宠粉！[偷笑R]\n✨这款奶白行李箱颜值超高，细磨砂工艺，防刮耐脏容易打理。\n轮子超级顺滑、静音，拖着不累💫\n💖抑菌里布，没有异味，很多隔层真的很实用\n✨✨✨✨✨\n👉8月27日下午3点小红书官方平台自动开奖\n👉中奖奖品：爱麦士行李箱\n抽奖活动规则.\n1⃣活动时间: 8月7日00:00:00-8月27日00:00:00\n2⃣开奖时间: 8月27日15:00:00\n3⃣奖品数量: 3份\n4⃣中奖条件：关注本品牌号；点赞收藏本笔记\n5⃣中奖者将随机抽取，由系统发送中奖通知\n其他规则：一定要点击笔记左下角的【报名】才能参加此活动哦，中奖后记得在7天内填写收货信息，逾期视为放弃机会~冲了！💞\n", "task_type": {"major": ["文本生成"], "minor": ["小红书风格文本"]}, "domain": ["社交媒体"], "metadata": "暂无元数据信息", "answer_from": "human", "human_verified": false, "copyright": "暂无版权及作者信息"}
{"instruction": "写一篇小红书风格的帖子，标题是免费送！超耐摔高档行李箱+送贴纸箱套", "input": "", "output": "免费送！爱麦士行李箱实力宠粉！[偷笑R]\n✨这款奶白行李箱颜值超高，细磨砂工艺，防刮耐脏容易打理。\n轮子超级顺滑、静音，拖着不累💫\n💖抑菌里布，没有异味，很多隔层真的很实用\n✨✨✨✨✨\n👉8月27日下午3点小红书官方平台自动开奖\n👉中奖奖品：爱麦士行李箱\n抽奖活动规则.\n1⃣活动时间: 8月7日00:00:00-8月27日00:00:00\n2⃣开奖时间: 8月27日15:00:00\n3⃣奖品数量: 3份\n4⃣中奖条件：关注本品牌号；点赞收藏本笔记\n5⃣中奖者将随机抽取，由系统发送中奖通知\n其他规则：一定要点击笔记左下角的【报名】才能参加此活动哦，中奖后记得在7天内填写收货信息，逾期视为放弃机会~冲了！💞\n", "task_type": {"major": ["文本生成"], "minor": ["小红书风格文本"]}, "domain": ["社交媒体"], "metadata": "暂无元数据信息", "answer_from": "human", "human_verified": false, "copyright": "暂无版权及作者信息"}

转换后格式：

{  
    "instruction": "写一篇小红书风格的帖子，标题是免费送！超耐摔高档行李箱+送贴纸箱套",  
    "input": "",  
    "output": "免费送！爱麦士行李箱实力宠粉！[偷笑R]\n✨这款奶白行李箱颜值超高，细磨砂工艺，防刮耐脏容易打理。\n轮子超级顺滑、静音，拖着不累💫\n💖抑菌里布，没有异味，很多隔层真的很实用\n✨✨✨✨✨\n👉8月27日下午3点小红书官方平台自动开奖\n👉中奖奖品：爱麦士行李箱\n抽奖活动规则.\n1⃣活动时间: 8月7日00:00:00-8月27日00:00:00\n2⃣开奖时间: 8月27日15:00:00\n3⃣奖品数量: 3份\n4⃣中奖条件：关注本品牌号；点赞收藏本笔记\n5⃣中奖者将随机抽取，由系统发送中奖通知\n其他规则：一定要点击笔记左下角的【报名】才能参加此活动哦，中奖后记得在7天内填写收货信息，逾期视为放弃机会~冲了！💞\n"  
},

处理代码：

import json as JSON  
  
def jsonl_to_json(jsonl_file, json_file):  
    dict_list = []  
  
    with open(jsonl_file, 'r', encoding='utf-8') as f:  
        jsonl_data = f.readlines()  
        for line in jsonl_data:  
            line_dict = JSON.loads(line)  
            del line_dict['task_type']  
            del line_dict['domain']  
            del line_dict['metadata']  
            del line_dict['answer_from']  
            del line_dict['human_verified']  
            del line_dict['copyright']  
  
            dict_list.append(line_dict)  
  
    with open(json_file, 'w', encoding='utf-8') as f:  
        JSON.dump(dict_list, f, indent=4, ensure_ascii=False)  
  
  
  
  
jsonl_file = './data/COIG-CQIA_xhs.jsonl'  
json_file = './data/test.json'  
  
if __name__ == '__main__':  
    jsonl_to_json(jsonl_file, json_file)