python 反传播_反向传播算法详解和Python代码实现

反向传播算法是训练神经网络的经典算法，是深度学习的最重要的基础，适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上，通过迭代的方法求出目标损失函数(loss function)的近似最小值。

本文通过理论和代码相结合的方式详细讲述了反向传播算法的原理和实现。

作者：Great Learning Team

deephub.ai翻译组译

神经网络

什么是反向传播？

反向传播是如何工作的？

损失函数

为什么我们需要反向传播？

前馈网络

反向传播的类型

案例研究

在典型的编程中，我们输入数据，执行处理逻辑并接收输出。如果输出数据可以某种方式影响处理逻辑怎么办？那就是反向传播算法。它对以前的模块产生积极影响，以提高准确性和效率。

让我们来深入研究一下。

神经网络(Neural network)

神经网络是连接单元的集合。每个连接都有一个与其相关联的权重。该系统有助于建立基于海量数据集的预测模型。它像人类的神经系统一样工作，有助于理解图像，像人类一样学习，合成语音等等。

什么是反向传播(What is backpropagation?)

我们可以将反向传播算法定义为在已知分类的情况下，为给定的输入模式训练某些给定的前馈神经网络的算法。当示例集的每一段都显示给网络时，网络将查看其对示例输入模式的输出反应。之后，测量输出响应与期望输出与误差值的比较。之后，我们根据测量的误差值调整连接权重。

在深入研究反向传播之前，我们应该知道是谁引入了这个概念以及何时引入。它最早出现在20世纪60年代，30年后由大卫·鲁梅尔哈特、杰弗里·辛顿和罗纳德·威廉姆斯在1986年的著名论文中推广。在这篇论文中，他们谈到了各种神经网络。今天，反向传播做得很好。神经网络训练是通过反向传播实现的。通过这种方法，我们根据前一次运行获得的错误率对神经网络的权值进行微调。正确地采用这种方法可以降低错误率，提高模型的可靠性。利用反向传播训练链式法则的神经网络。简单地说，每次前馈通过网络后，该算法根据权值和偏差进行后向传递，调整模型的参数。典型的监督学习算法试图找到一个将输入数据映射到正确输出的函数。反向传播与多层神经网络一起工作，学习输入到输出映射的内部表示。

反向传播是如何工作的？(How does backpropagation work?)

让我们看看反向传播是