大模型微调

概述

什么是模型微调？

模型微调是通过微调工具，使用独特的场景数据对平台的基础模型进行调整，帮助你快速定制一个更符合业务需求的大型模型。其优势在于对基础模型进行小幅调整以满足特定需求，相比于训练一个新模型，这种方法更为高效且成本更低。

何时适用微调？

你可以首先尝试调整提示或使用函数调用和检索功能等工具来改善结果。如果你发现基础模型及相关工具仍无法提供满意的答案或处理复杂的推理任务，则可以使用微调来获得更好的结果。

微调可以改善结果的典型场景包括：

• 需要特定的风格或语气
• 需要处理复杂任务
• 需要提高输出可靠性
• 新任务难以通过提示解释

有哪些微调方法？

LoRA微调

• 含义： 通过在现有权重矩阵中添加低秩矩阵来调整模型，可以在增加少量计算负担的情况下有效调整模型。
• 优势：
  仅增加少量参数，参数效率高；
  资源利用少，训练周期短

全参数微调

• 含义： 调整预训练模型的所有参数以获得新模型。
• 优势：
  允许对模型进行全面调整，更好地适应新任务；
  在有足够数据和计算资源的情况下，更有可能达到最佳性能。

微调步骤

通常，完成模型微调包括以下步骤：

1. 准备并上传训练数据
2. 训练新的微调模型
3. 部署并使用微调模型（LoRA微调支持公有池推理，无需部署）
4. 评估结果，如有必要，返回步骤1

1. 准备训练数据

微调训练数据通常由一批包含输入和预期输出的数据组成，每条训练数据包含一个输入（Prompt）及其对应的预期输出。目前仅支持JSON格式文件上传训练数据。

数据集要求

一般来说，提供更多高质量的训练数据会得到更好的微调效果。反之，如果训练数据存在问题或缺陷，将会对微调结果产生负面影响。

更多高质量数据： 为了更好地微调模型，你需要提供至少数百条高质量的训练数据；最好由人工严格审核数据，以确保数据质量和微调结果。增加高质量的训练数据是改善微调结果的最佳且最可靠的方法。

根据训练目标调整数据分布： 在构建训练数据时，你需要根据实际业务场景的训练目标，注意构建和调整各类细分任务场景的训练数据分布，并尽量覆盖业务场景中所有可能的数据样本。如果你的训练目标是同时提升文本分类、信息抽取和文本生成的效果，你需要在训练数据中为这些类型的任务提供足够的训练数据。

避免有害数据： 为了确保你的数据隐私，平台不会审核你的数据。请确保你的数据不包含有害信息，包括但不限于色情、恐怖主义、政治敏感、低俗辱骂、隐私信息等。使用有害数据进行微调可能会导致微调后的模型容易生成有害内容，降低模型推理结果中敏感信息验证的通过率。更糟糕的是，一个严重有害的模型可能无法通过平台或相关监管机构的内容合规要求

数据集格式

准备数据集格式如下所示，以JSON格式每行一条：

{"messages": [{"role": "system", "content": "你是一个乐于助人且知识渊博的AI助手。"},{"role": "user", "content": "请解释AlphaGo的基本原理。"}, {"role": "assistant", "content": "AlphaGo结合深度神经网络与树搜索算法，通过棋局数据进行训练，逐步提升棋力，能够判断围棋局势并选择最佳着法。"}]}
{"messages": [{"role": "system", "content": "你是一个乐于助人且知识渊博的AI助手。"},{"role": "user", "content": "列举一些健康饮食的重要原则。"}, {"role": "assistant", "content": "健康饮食的重要原则包括：均衡饮食，合理摄入各类营养素；多吃新鲜蔬果，适量饮水；少吃糖、油、盐，忌吃过量快餐；养成规律生活作息习惯，适量运动。"}]}
{"messages": [{"role": "system", "content": "你是一个乐于助人且知识渊博的AI助手。"},{"role": "user", "content": "给出一些改善睡眠质量的建议。"}, {"role": "assistant", "content": "改善睡眠质量的建议包括：保证睡眠时间，避免睡眠不足；睡前放松，避免刺激；养成规律作息时间，不要频繁熬夜；适量运动，但不要运动过度；睡前可以喝一杯热牛奶等温和饮料。"}]}

如果你不需要system prompt，只需删除该段落，如下所示：

{"messages": [{"role": "user", "content": "请解释AlphaGo的基本原理。"}, {"role": "assistant", "content": "AlphaGo结合深度

 2、训练和部署

微调工具、部署工具

总结：首先根据情况是否微调，数据准备500-1000按格式，数据是否需要加入其他业务相关的数据呢？