感知器和神经网络

      最近deep learning很火，火到让我对机器学习有又了热情。今天花了些时间学习了一下DL的基础ANN。记录一下感悟。

      神经网络是一种监督学习的方法。特点是适合具有以下特点的训练集：

         1）有属性和输出（监督学习）

         2）输出可能为向量

         3）有噪声

      神经网络能够产生非线性结果的关键在于阈值函数（多为sigmoid，又叫挤压函数），使不同层的权值在最后的结果中有了非线性的比重。

       其主要学习方法（反向传播算法），主要推导自最小均方误差估计（LMS）。分两步：一，前向传播输入，后得到误差；二，用最小均方误差对每层权值求导数最为权值的更新参数。