1.梯度下降
梯度下降是一种常用的优化算法，用于更新模型参数以最小化损失函数。它是一种迭代的优化方法，通过计算损失函数关于参数的梯度，并朝着梯度下降的方向更新参数值，直到达到收敛条件或达到最小化损失函数的要求。
2.反向传播
反向传播是一种用于计算神经网络中权重和偏置梯度的算法，通常与梯度下降一起使用来训练神经网络。
反向传播算法的关键是有效计算梯度，通过链式法则和计算图的方式，可以高效地计算出每个参数的梯度。它使得深度神经网络可以进行端到端的训练，并在大规模数据集上取得优秀的性能。
3.计算图
计算图是一种图形化的表示方式，用于描述数学运算和函数之间的关系。它将复杂的数学计算过程以图的形式呈现，便于理解和计算梯度。
计算图的主要目的是支持自动微分，即计算函数的导数或梯度。通过构建计算图，可以在反向传播算法中有效地计算参数梯度。在反向传播过程中，从输出节点开始，通过链式法则将梯度从上游传播到下游节点，最终计算得到各个参数的梯度。
111
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
