多层感知器与反向传播算法

多层感知器：

单层感知器只能解决线性可分的分类问题，要增强，唯一的方法就是采用多层网络，在输入输出层之间加上隐含层，构成多层感知器。

多层感知器同单层感知器的四个特点：

1. 除了输入输出层，多层感知器还有一层或者多层隐神经元。
2. 多层感知器中的每个神经元的激励函数是可微的。
3. 多层感知器的多个突触使得网络更具有连通性，连接域变化或者连接权值的变化都会引起连通性的变化。
4. 多层感知器有着独特的反向传播算法。

反向传播算法：

学习过程：

1. 工作信号正向传播：输入信号经过输入层，隐单元，传向输出层，在输出端产生信号。在信号的向前传播的过程中网络的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。如果在输出层得不到期望的输出，则转入误差信号反向传播。
2. 误差信号反向传播：网络中的实际输出与期望输出之间的差值为误差信号，误差信号由输出端开始逐层向前传播。再此过程中，网络的权值由误差反馈进行调节，通过权值不断修正，使网络的实际输出更接近期望输出。

公式推导（以三层网络为例）：

1. 公式定义：
2. 正向传播时的公式：
   
3. 定义误差能量：
   
4. 输出层与隐含层之间的权值修订：
   
   当S型函数求导时,f(x)的导函数为：f(x)*(1-f(x))
   
5. 隐含层与隐含层之间的权值修订:
   
   end.