深度学习（三）-反向传播

反向传播算法

深度学习三巨头发表反向传播论文

https://www.cs.toronto.edu/~hinton/absps/naturebp.pdf

正向传播网络

前一层的输出作为后一层的输入的逻辑结构，每一层神经元仅与下一层的神经元全连接，通过增加神经网络的层数虽然可为其提供更大的灵活性，让网络具有更强的表征能力，也就是说，能解决的问题更多，但随之而来的数量庞大的网络参数的训练，一直是制约多层神经网络发展的一个重要瓶颈。

反向传播

反向传播（Backpropagation algorithm）全称“误差反向传播”，是在深度神经网络中，根据输出层输出值，来反向调整隐藏层权重的一种方法。

为什么需要反向传播

• 为什么不直接使用梯度下降而使用反向传播方式更新权重呢？

• 梯度下降应用于有明确求导函数的情况，或者可以求出误差的情况（比如 线性回归），我们可以把它看做没有隐藏层的网络。但对于多个隐藏层的 神经网络，输出层可以直接求出误差来更新参数，但隐藏层的误差是不存 在的，因此不能对它直接应用梯度下降，而是先将误差反向传播至隐藏层， 然后再应用梯度下降。

反向传播计算

实例