神经网络中反向误差反馈

反向反馈

1 提出背景：

1.1简单的只包含输入层和输出层的神经网络不能模拟复杂模型

1.2为了提高神经网络使用的广泛性，可以像感知器一样，增加大量的特征

1.3 神经网络的中心问题：（1）怎样学习多层神经网络（包含隐藏层）的特征；（2）怎样学习隐藏层的权重

2 与随机的改变权重相比：

2.1随机的改变权重方式是一种reinforcement learning，其目标是为了实现最优值。

2.2随机的改变权重方式，并不是高效的。

  （1）首先，根据前向反馈，随机改变的值要经过很多层才能到达最后的结果。

（2）然后，的大多数变化都会使结果变得更糟糕

3 反向反馈：

3.1核心:

误差偏导的传递，（即计算来自输出层的每一层隐藏层的误差偏导）

3.2理论：

显而易见的是，改变第i层的第j个单元，势必影响到第i+1层与之相关联的所有单元。所以，当我们在计算从第i+1层传递到第i层的第个j单元的误差偏导时，是需要考虑第i+1层中所有与j相关联的单元（即求和）。因为在误差偏导传递的过程中，也存在权重的问题，此时，采用和前向反馈相同的权重，那么我们就可以推导出权重对于最后输出结果的影响，从而达到改变权重，实现结果最优的状态

3.3 计算过程（计算某个