AI作业6-误差反向传播

1.梯度下降

梯度下降在机器学习应用十分广泛，在回归计算（线性回归，Logistic）中的目的都是通过迭代计算寻找到目标函数的最小值，或者收敛到最小值。

这么来说，梯度下降的概念有点过于抽象了。我们以具体的某一函数为样例来解释什么是梯度下降。我们以二次函数中的抛物线函数来作为样例，当一个抛物线函数它的开口向上，那么这个函数就存在且唯一的最低点，我们需要寻找这个函数的最低点，或者说这个函数映射的最小值。使用梯度下降的方法来求解，那么我们可以看成，在抛物线上的一点，每次都向着函数映射值降低的方向移动，而每次又以移动过后的点为基准，继续向着函数映射值降低的方向移动，直到这个点移动到了整个函数的最低点。那么这个过程就叫做是梯度下降，当然，如果我们寻找一个开口向下的抛物线函数最高点，那么这种方法就叫做梯度上升。

那么什么是梯度呢？在不同函数中它的定义有所不同，在单变量函数中，梯度就是函数的微分值，代表函数在其某个点上切线的斜率。在多变量函数中，梯度则就是一个向量，其向量所指的方向就是在某一确定点下降（上升）最快的方向。

2.反向传播

反向传播算法是目前用来训练人工神经网络的最常用且有效的算法。在人工神经网络算法在实际运行过程中，一般分为输入层、隐藏层、和输入层三类，当算法输出结果和目标结果出现误差时，算法会对误差值进行计算，然后通过反向传播将数值传回至隐藏层，通过修改相关参数进行调整，并再次通过算法计算获取输出结果，通过不断重复该过程，得到与预期相符的结果。总的来说，反向传播算法可以让人工神经网络在推断过程中，不断通过调整重复运算，使得结果更加接近目标预期。

3.计算图

计算图是一种表示计算过程的图形模型，它由节点（表示变量或操作）和边（表示它们之间的数据流）组成。计算图可以帮助我们理解和优化复杂的数学公式和计算过程。在机器学习中，计算图被广泛应用于自动微分和优化算法的实现中。

4.使用Numpy编程实现例题

5.使用PyTorch的Backward（）编程实现例题