深度学习——多层感知机

感知机是用于分类的神经网络模型。单层感知机只有输入层和输出层，仅适用于线性可分的模式。为了能解决更复杂的分类问题，在单层感知机的输出层和输出层之间增加多个隐藏层，便成为多层的感知机。

感知机处理问题的方法是，建立一个网络模型，根据已知的大量样本，通过电脑试算反复的调整参数，确定这个模型，当有新样本需要分类时，代入该模型中去，通过计算得到的结果，即可分出属于哪一类。

多层的感知机如果仅是相邻层的节点互相连接，一般称为人工神经网络的前馈神经网络。

人工神经网络是模拟人脑神经元网络建立起来的数学模型，结构比较复杂，过多强调其与人脑的联系，反而不容易理解。如果把人工神经网络看作一个系统，从系统的结构和功能的角度进行分析，可能更利于理解人工神经网络的思想和方法。

（二）多层感知机

多层感知机层数较多，每层都有多个节点，模型规模一般很大，初接触往往会感觉很乱，但只要弄清它的结构组成、各部分的功能，以及数据处理的流向，实际并不是想象的那么复杂。

（1）多层感知机的结构

以下面的简单图形为例，说明之。

多层感知机至少分成三层。第一层是输入层，最后一层是输出层，中间是隐藏层，根据需要可以建多层，每层都可以有多个节点，相邻层的各个节点都互相连接。

和单层的感知机一样，所有节点都有输入输出和存储数据的功能，隐藏层和输出层还有计算加权和以及激活函数处理的功能。

相邻层间的每条连线，都蕴含着不同的权重，表示前一层相应节点的重要程度，一般是用矩阵形式保存，和单层感知机一样，相邻两层之间也有偏置b，一般保存为向量形式。（见下图）

下面从前向传播开始，说明其数据的流动情况。

（2）数据如何前向传播

为了简单，隐藏层只取一层，每层的节点都取得比较少，实际隐藏层可以有多个，每层也都可以有更多的节点，但样本数据的计算和传播方法是一样的。

输入层看作第0层，隐藏层从第1层开始，直至最后的输出层。每层的节点都可以看作一个列向量。

为了把输入数据的流向说清楚，这里假设各层间连线蕴含的权重 � 及偏置 � 都是已知并且固定的，然后输入一个样本 �=(�1,�2) ，观察其是如何计算、处理和向前传播的？实际非常简单，就是逐层的矩阵相乘运算和激活处理。

用 ���� 表示第 � 层第 � 个节点，与上一层（ � -1层）第 � 个节点连接的权重。

例如 �121 是表示第一层第一个节点和第0层第二个节点连线的权重。

第0层到第1层（隐藏层）所有的权重，可以表示为矩阵形式(字母右上角的 � 均表示层数)

�1=(�11,�21)� 表示第1层前的偏置。

①第一层的运算

隐藏层的第一个节点 �11 ，是接受输入层各个节点 �1,�1 的数据，