三层神经网络前向后向传播示意图

转载https://blog.csdn.net/yunpiao123456/article/details/52526907

三层神经网络的信号传播，两个输入，两个隐层，一个输出。输入层不算，三层分别为：两层隐藏层和一层输出层。

 

网络中每个紫色模块是一个神经元，它包括信号输入求和，求和后的信号再经过激活函数处理（一般是非线性激活函数），得到输出 

下面开始训练网络的流程，训练网络首先需要训练数据，对于我们这里的网络，训练数据为若干组 （x1,x2）及对应的期望输出 z 。

我们首先来进行前向信号传播计算，其中第一隐层计算如下：

第二隐层计算如下：

输出层的信号计算如下：

下面开始误差后向传播计算,输出层的误差如下

第二隐层的误差信息计算如下：

第一隐层的误差信号计算如下：

最后根据误差信号进行权值更新，如下图所示：

系数h 决定了学习的速率。有一些选择参数的方法。第一种方法是选择较大的值开始网络训练。然而，当权重系数确定之后，参数值急剧减小。第二种方法比较复杂，参数值从较小开始。在学习的过程中，参数值增加，然后在最后阶段再一次减小参数值。用小参数值训练网络能够决定权重系数。