神经网络的理解

1. 感知器是神经网络（多层感知机）的基础。
2. 神经网络中激活函数的理解：
   为什么引入非线性激励函数？
   如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与只有一个隐藏层效果相当，这种情况就是多层感知机（MLP）了。
   正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再是输入的线性组合，可以逼近任意函数）。
   最早的想法是sigmoid函数或者tanh函数，输出有界，很容易充当下一层输入（以及一些人的生物解释balabala）。
   隐藏神经元的功能
   单个感知机的非线性变换可以分出一个线性边界，多个感知机的线性边界组合后就可以为样本划分出一个非线性边界。
   这种对区域的划分和表示称之为神经网络的分布式特征。
   隐藏神经元数量的作用
   神经元的数目对应着用于拼接边界的线段数目。神经元越多，就能拼接出越复杂的边界。
   神经元数目对应着非线性变换之后空间的维度，维度越高，变换后的样本越容易被分开。
   增加隐藏层单元数目或是层数，就是把样本投射到更容易线性分类的更高维度空间。
   即，对空间进行足够精确的非线性扭曲，然后进行线性分类。

注：如果神经网络过拟合，