大语言模型工程化服务系列之二--------MOSS微调数据清洗转换脚本

MOSS微调数据清洗转换脚本

目前市面上的大模型微调开源项目 数据格式都是三段式的，但是不适用于MOSS模型微调，今天给大家分享一个转换脚本

---

---

---

一、原始的数据格式

二、转换后的数据格式

三、数据转换脚本

代码如下（示例）：

import json

# 读取原始JSON文件（使用UTF-8编码）
with open('原始.json', 'r', encoding='utf-8') as source_file:
    data = json.load(source_file)

# 初始化新的JSON数据列表 
new_data_list = []

# 遍历原始数据并将instruction和output值分别存储到新的JSON数据结构中
for i, item in enumerate(data):
    new_data = {
        "conversation_id": str(i + 1),
        "meta_instruction": "You are an AI assistant...",
        "num_turns": 1,
        "chat": {
            f"turn_1": {
                "Human": item["instruction"] + "<eoh>\n",
                "Inner Thoughts": "<|Inner Thoughts|>: None<eot>\n",
                "Commands": "<|Commands|>: None<eoc>\n",
                "Tool Responses": "<|Results|>: None<eor>\n",
                "MOSS": item["output"] + "<eom>\n"
            }
        },
        "category": "advice"
    }
    new_data_list.append(new_data)

# 将新的JSON数据结构写入到新的JSON文件中（使用UTF-8编码）
with open('moss格式的.json', 'w', encoding='utf-8') as new_file:
    json.dump(new_data_list, new_file, ensure_ascii=False, indent=2)

---

总结

想进入大模型微调，虚拟数字人，声音克隆等最新aigc生成技术讨论群的请私信我，拉你进群，帮助你快速掌握最新的技术，为找工作添砖加瓦

加我微信：Lh1141755859 获取chatgpt类对话大模型交流群
关注微信公众号：CV算法小屋 获取更多最新大语言模型论文和代码