指令微调（Instruction Tuning）可以实现大模型权重参数的调整

目录

指令微调（Instruction Tuning）可以实现大模型权重参数的调整。

反向传播机制

参数更新​编辑

迭代优化过程

---

指令微调（Instruction Tuning）可以实现大模型权重参数的调整。

1. 反向传播机制

   • 在指令微调过程中，模型以预训练的权重参数作为初始状态。当使用（指令，输出）对组成的数据集进行训练时，和常规的训练过程一样，模型会计算预测输出与期望输出（即数据集中给定的正确输出）之间的差异，这个差异通过损失函数来衡量。
   • 例如，在一个语言模型中，如果指令是
   • “请生成一个描述自然风光的句子”