深度学习一些公式

注：仅供自己学习记录

1.梯度下降算法的公式：

 公式依次代表为“下次迭代的点”、“目前所在的点”、“学习率”和“最大负向梯度”。按照这个公式，每次迭代都会根据上次的步长减去学习率乘以“梯度”的值，去一步一步更新，这样能可以每次迭代都朝着最大负方向去迭代。

参考：深度解读机器学习“梯度下降” – 前端开发，JQUERY特效，全栈开发，vue开发 (jqhtml.com)

2. 交叉损失熵

 参考论文：iDLG: Improved Deep Leakage from Gradients 

梯度：

梯度是损失函数对于变量的变化率，它告诉我们在当前的参数下，损失函数会如何改变。通过计算损失函数相对于模型的参数的梯度，可以使用反向传播算法来更新模型参数，以最小化损失函数并提高模型性能。

3. MSE

参考解析：通俗易懂讲解均方误差 (MSE) - haltakov - 知乎 (zhihu.com)

公式：