AI 作业 6-误差反向传播

1、

       梯度下降（Gradient Descent）是一种优化算法，用于在机器学习和深度学习中更新参数以最小化损失函数。它的基本思想是通过计算损失函数对参数的梯度，然后沿着梯度的反方向更新参数值。这样反复迭代直至达到损失函数最小化的目标。
2、

       反向传播（Backpropagation）是一种计算梯度的算法，用于训练神经网络模型。在神经网络的前向传播过程中，输入通过网络的每一层，计算得到输出。而在反向传播过程中，通过计算损失函数对参数的导数，将梯度从输出层向输入层传播回来，用于更新网络的参数。反向传播利用链式法则进行计算，在计算梯度时是沿着计算图的反方向传播梯度信息的。
3、

       计算图（Computational Graph）是描述算术和逻辑运算的图形表示，用于计算复杂函数的导数。在计算图中，节点表示运算操作，边表示传递数据的依赖关系。通过定义一系列计算操作，可以按照特定的顺序执行这些操作，计算函数的结果。计算图是反向传播算法的基础，它提供了一个可视化和理解复杂函数计算过程的框架，并且可以方便地计算函数对输入、参数及中间变量的导数。