学习记录：感知机

一、基础知识回顾

b向量与a向量的内积ba，几何意义为a向量在b向量方向上的投影大小。当向量的模相同时，向量间夹角越小，投影值越大。

W为f(x)的法向量，坐标系中有大量的样本点x。

以f(x)为界：

                 当样本点在f(x)右侧时，W与其方向向量的乘积为正，如下图x1。

                 当样本点在f(x)左侧时，W与其方向向量的乘积为负，如下图x2。

对于一个样本x1，当W方向与x1方向越接近，则投影越大，即x1与f(x)的距离最远。下图可知，x1在方向更接近的W上的投影更大，即x1到f(x)的距离更远。

 

二、感知机

1.感知机原理

感知机收敛算法概述如下，

其中，感知机权值向量按如下规则更新，当分类还有错误时，d(n) 不等于 y(n)，W更新。

2.深入理解感知机

对于下面左侧的图，对线性可分的不同样本，最终的结果是找到一条直线，使蓝色和红色的点分别在f(x)的两侧。为了容易分析，我们对样本进行处理，把W另一侧的红色点按照原点对称，移到W同侧，如下图右侧，则问题转化为找到过原点的f(x),使所有样本都在f(x)的一侧，即在正确分类时，内积都应为正，内积为负的点即为分类错误的点。

下图可以看到，对于当前的f(x)，有一个在f(x)左侧，即分类错误的点，如果想要全部分类正确，则W的方向需要往分类错误的点方向靠近。除此之外，由上面的分析可知，对于一个样本，和法向量W同向最好，因为离f(x)的距离最远，鲁棒性好，噪声干扰小。因此，分类的过程，就是所有样本争夺W方向的过程。

把上图中的W往分类错误的点的方向移动到橙色线位置，可以分类正确，如下图。

当学习率参数过大时，有可能使W偏移过多，导致一次学习后，新的f(x)使之前分类错误的点分类正确，而原本正确的点又被误分。此时需要继续学习，重复上面的过程，如下图。紫色线f(x)导致x2，x3分类错误，学习后新的橙色线f(x)可以正确分类x2，x3，但是原本正确的x1又被错误分类，再次学习，直到红色线f(x)对所有样本点都可正确分类。

学习过程就是样本点对W反复争夺的过程。