3.感知机学习方法

1.在讲感知机算法之前先引入符号函数sign的概念：

其函数图像为：

2. 感知机策略针对的样本都是线性可分的，我们做感知机的目的是找出一个能够将训练集正实例点和负实例点完全分开的分离超平面。

假设输入空间 中任一点 到超平面S（方程为w.x+b）的距离为：

||w||表示w的二范数

3. 其次，对于误分类的数据( )来说，时，因为当，=-1，当时，=+1

4.     误分类点 到超平面s的总距离为：

5.     若误分类点集合为M,所有误分类点到超平面S的距离为：

6.    不考虑 ，则损失函数为：

7.   现在我们转而将目标函数 求最小值，我们采用梯度下降算法对损失函数进行迭代操作,最后使得损失函数变为0.则函数收敛。

其过程如下，首先向计算损失函数关于 和关于b的梯度

当然我们采取的是随机梯度算法（详细见本人微博关于梯度下降算法的论述）

然后随机选取一个误分类点（）,对其进行更新:

   

其中代表学习率。直到w*x + b = 0为止。