XTuner 微调 Llama3 数据格式处理

学习了机智流组织的llama3五一课堂，本文重点针对微调用的数据格式进行理解。参考文档如下：
https://github.com/SmartFlowAI/Llama3-Tutorial/blob/main/docs/assistant.md

教程中使用python tools/gdata.py生成了微调所用的数据文件，gdata.py文件核心代码如下：

import json
# 输入你的名字
name = 'SmartFlowAI'
# 重复次数
n = 2000
data = [
    {
        "conversation": [
            {
                "system":"你是一个懂中文的小助手",
                "input": "你是（请用中文回答）",
                "output": "您好，我是{}，一个由 SmartFlowAI 打造的人工智能助手，请问有什么可以帮助您的吗？".format(name)
            }
        ]
    }
]
for i in range(n):
    data.append(data[0])
with open('data/personal_assistant.json', 'w', encoding='utf-8') as f:
    json.dump(data, f, ensure_ascii=False, indent=4)

代码中生成了重复的2000次同一个数据，数据内容如下：

[
    {
        "conversation": [
            {
                "system": "你是一个懂中文的小助手",
                "input": "你是（请用中文回答）",
                "output": "您好，我是SmartFlowAI，一个由 SmartFlowAI 打造的人工智能助手，请问有什么可以帮助您的吗？"
            }
        ]
    },
    {
        "conversation": [
            {
                "system": "你是一个懂中文的小助手",
                "input": "你是（请用中文回答）",
                "output": "您好，我是SmartFlowAI，一个由 SmartFlowAI 打造的人工智能助手，请问有什么可以帮助您的吗？"
            }
        ]
    }
]

每条数据，结构由三部分组成：system 、input ( 输入 ) 和 output ( 输出 ) ，我们可以根据这个格式准备自己的数据集。

system ：这部分定义了要求 AI 执行的任务或问题。它是一条明确的指示，告诉 AI 需要做什么。

input（输入）：这部分提供了执行指令所需的具体信息或上下文。在某些情况下，这个部分可能为空，表示指令本身已经包含了执行任务所需的所有信息。

output（输出）：这部分是 AI 根据给定的指令和输入生成的答案或结果。它是 AI 处理完输入信息后的响应或解决方案。