神经网络隐含层的物理意义

softmax回归与多层神经网络模型

softmax回归与多层神经网络都可以实现多分类器，两种分类器的模型如下图所示：

softmax回归

多层神经网络

物理意义

根据图示我们可以看到，多层神经网络模型与回归模型，在原理上是相似的，都是构造线性模型，多层神经网络只是在输入层与输出层之间添加了n个隐含层(n>=1)，添加隐含层的物理意义是什么呢？

无论是softmax模型，还是多层神经网络模型，都是构造线性模型，但是当输入数据不是线性可分的，模型该怎么预测结果呢？

线性可分数据，构造一个线性二分器即可把数据分开

线性不可分数据，需要构造多个二分类器对数据进行分类

多层神经网络，可以认为将原始输入数据，在每一层隐含层上做了多个二分类，二分类的个数即为该隐含层的神经元个数。如上图所示，输入数据的维度是2，即：x1和x2，对于此线性不可分的数据，可以做3个二分类器，即：y1、y2和y3，所以隐含层中有3个神经元。因此对于线性不可分的数据来说，多层神经网络比softmax回归效果理论上要好。

对于高维的数据，我们很难进行可视化，所以隐含层的层数以及每层中神经元的个数，只能通过多次训练调整。

这就是为什么多层神经网络有多个隐含层。

另外，可以参考MIT deep learning的书籍，中间有一部分解释的也很清楚，就是为了让线性不可分的数据变得线性可分：