AI作业6-误差反向传播

1.梯度下降：

梯度下降（Gradient Descent）是一种常见的最优化算法，用于在训练机器学习模型时，根据模型的损失函数来更新模型参数。梯度下降算法的核心思想是根据当前参数的梯度信息，沿着损失函数的反方向调整参数的取值，从而不断接近损失函数的最小值。其中，梯度是损失函数对参数的偏导数，表示函数在当前参数点上的变化率。

2.反向传播：

反向传播（Backpropagation）是一种用于高效计算神经网络中每个参数的梯度的算法。反向传播的基本思想是利用链式法则，从输出层开始，将误差信号沿着网络反向传播，计算每个参数对误差的贡献，并更新参数的取值。反向传播算法可以通过自动求导技术实现，使得神经网络的训练过程更加高效和可靠。

3.计算图：

计算图（Computational Graph）是一种用于描述复杂计算过程的图形结构。在计算图中，节点表示计算操作，边表示数据流。计算图的一个重要用途是用于自动求导，它可以将复杂的求导过程分解为一系列简单的计算操作，从而高效地计算参数的梯度。

4.使用Numpy编程实现例题：

5.使用PyTorch的Backward（）编程实现例题：