深度学习入门知识梳理（二）：误差反向传播算法

最新推荐文章于 2024-08-18 00:00:52 发布

不知的火舞旋风

最新推荐文章于 2024-08-18 00:00:52 发布

阅读量1k

点赞数

分类专栏：深度学习

本文链接：https://blog.csdn.net/ffzbknd/article/details/100113906

版权

本文深入浅出地介绍了深度学习中的误差反向传播算法，通过计算图和链式法则解析了梯度计算的过程。文章涵盖计算图的概念、链式法则的应用，并详细阐述了基本单元如WX+B、sigmoid、ReLU函数以及Softmax-With-Loss的计算图和反向传播步骤。

摘要由CSDN通过智能技术生成

文章目录

前言

神经网络的学习需要使用梯度下降法，而梯度下降法需要计算梯度。我们知道，计算梯度可以使用数值微分和误差反向传播算法，但数值微分计算速度慢，其计算精度会有极小的缺失，一般较少使用。使用误差反向传播算法则可以高效计算梯度，故其在深度学习是一个非常基础的知识，也是一个重要的理论。

1、计算图

计算图是描述计算的有向图，其中节点代表数学运算，箭头表示了节点的输入输出关系，箭头传递的数据可以标注在箭头旁。使用计算图来分析神经网络，有利于对误差反向传播过程的理解。
举一个简单例子,计算 $f (x, y) = x y + 6$ 的偏导，我们可以计算出 $\frac{\partial f}{\partial x}=y$ ， $\frac{\partial f}{\partial y}=x$ 。下面我们利用计算图来分析此过程。
画出计算图如下图所示，其中紫色箭头代表的 $f (x, y)$ 的正向传播，即正向进行计算；蓝色箭头代表的 $f (x, y)$ 的反向传播，即反向求偏导。计算图中包含一个乘法节点和一个加法节点。
简单例子
对上面的计算图分析，在正向传播时，我们从左往右观察，需注意紫色箭头和各个节点。可以非常明显看出，正向传播过程中，乘法节点将输入的 $x$ 和