LLM - 神经网络的训练过程

1. 对于回归问题，用损失函数来计算预测值和真实值的差异，一种常用的公式是如下图所示(Mean Square Error)，如果损失函数的值越小说明神经网络学习越准确，所以神经网络训练目标是减小损失函数的值，

    

2. 对于分类问题，损失函数和上面不一样，这里使用交叉熵作为损失函数，神经网络训练目标是最小化交叉熵。

3. 最小化损失函数的方法（梯度下降法），即将优化步骤拆分成若干个步骤，每次对损失函数的值做小幅缩小，具体过程是对损失函数求该模型参数的梯度，每次迭代对向着梯度变化最快的方向前进一步（这样就可以计算出模型参数，并在此轮迭代后更新模型参数），这样就可以使损失函数值降低一点，每次前进一步的步长称为学习率。