SFT和FT的区别

supervised fine-tuning 和fine-tuning的区别

当涉及到模型训练的两个术语“supervised fine-tuning”（有监督微调）和“fine-tuning”（微调）时，它们之间的区别主要在于数据集和训练方式。

有监督微调（Supervised Fine-tuning）：

1. 数据集：有监督微调是在一个预训练过的模型基础上进行的。通常，使用一个大型的未标记数据集对模型进行预训练，然后再使用一个标记的、与目标任务相关的数据集对模型进行有监督微调。
2. 训练方式：在有监督微调中，模型以监督学习的方式进行训练。这意味着使用带有标签的输入样本和相应的预期输出来调整模型的参数。目标是通过在具体任务上微调模型的权重和参数来适应特定的任务。

微调（Fine-tuning）：

1. 数据集：微调是指在一个预训练模型的基础上进一步调整模型的权重和参数，使其适应新的任务或领域。与有监督微调相比，微调不限于使用与目标任务直接相关的标记数据集。它可以使用任何可用的数据集来进一步优化模型。
2. 训练方式：微调的训练方式可以根据具体情况有所不同。它可以是有监督的，也可以是半监督的或无监督的。在微调过程中，模型的预训练参数通常会被加载并在新数据集上进行进一步调整。

总结

总的来说，有监督微调是在预训练模型的基础上使用与目标任务直接相关的标记数据进行有监督训练；而微调是在预训练模型的基础上通过进一步调整权重和参数进行优化，适应新的任务或领域，可以使用不同类型的数据集进行训练，并且训练方式可以更加灵活。