神经网络学习笔记（四）

  正如同对于不同的事物我们从自己周围的环境中学习的方法不一样，神经网络的学习也是如此。广义上讲，我们可以按照学习过程的不同将神经网络分为两大类：有导师学习（Learn with a teacher）以及无导师学习（Learn without a teacher）。其中后者又可以细分为无监督学习以及强化学习。

有导师学习：

  有导师学习也称为有监督学习。在概念上来说，导师是对外界环境有认知知识的。这些知识通过配对的输入输出训练样本来传入神经网络。通过这些知识，任意一个训练向量的输入，导师都可以给出输出，而这个输出也同时是希望从神经网络中获取的输出。实际上，希望得到的输出代表了神经网络的最佳输出表达。神经网络中的自由参数通过输入向量以及输出误差来调节。其中误差是神经网络的实际输出与希望输出的差。神经网络的输出误差作为应变量可以构成一个函数，自变量为网络的自由参数。同时这个函数构成了一个超平面，神经网络通过有监督的学习就是要达到这个超平面的极小值点，可以通过最速下降法求得这个极小值点。在实际监督学习的过程中，系统并不会真正获得误差关于自由参数的函数来求梯度向量，而是使用梯度向量的瞬时估计。这个估计值是通过在误差超平面上对应点附近的随机运动来确定的。具体而言，就是设计一个算法最小化代价函数来估计梯度向量。

无导师学习：

  无导师学习，顾名思义就是没有导师对学习进行监督，即神经网络的学