1.梯度下降
梯度下降是一种常用的优化算法,用于更新模型参数以最小化损失函数。它是一种迭代的优化方法,通过计算损失函数关于参数的梯度,并朝着梯度下降的方向更新参数值,直到达到收敛条件或达到最小化损失函数的要求。
2.反向传播
反向传播是一种用于计算神经网络中权重和偏置梯度的算法,通常与梯度下降一起使用来训练神经网络。
反向传播算法的关键是有效计算梯度,通过链式法则和计算图的方式,可以高效地计算出每个参数的梯度。它使得深度神经网络可以进行端到端的训练,并在大规模数据集上取得优秀的性能。
3.计算图
计算图是一种图形化的表示方式,用于描述数学运算和函数之间的关系。它将复杂的数学计算过程以图的形式呈现,便于理解和计算梯度。
计算图的主要目的是支持自动微分,即计算函数的导数或梯度。通过构建计算图,可以在反向传播算法中有效地计算参数梯度。在反向传播过程中,从输出节点开始,通过链式法则将梯度从上游传播到下游节点,最终计算得到各个参数的梯度。