统计方法笔记2—感知机

第二章 感知机

感知机是二类分类的线性分类模型，输入实例特征向量，输出+1和—1两个类别。即将输入空间划分为正负两个超平面，属于判别模型。

2.1感知机模型

感知机定义:

感知机解释：线性方程w*x+b=0是一个超平面，其中w是法向量，b是截距，该超平面将特征空间划分为两个部分，位于两部分的点划分为正负两类。

2.2感知机学习策略

2.2.1数据集的线性可分性

数据集的线性可分性：存在超平面将数据集划分为正负两类。

2.2.2感知机学习策略

感知机学习的目标是找到一个超平面，即确定w和b的值，所以损失函数可以设置为w，b的函数，这里利用误分类点到超平面的距离求出损失函数。
推导过程：

2.3感知机学习算法

感知机学习问题转换为求解损失函数的最优化问题。

2.3.1感知机学习算法的原始形式

首先是损失函数的梯度为：

然后是利用无分类点对w，b进行更新：

其中，n是步长，又称为学习率。通过不断更新，使得损失函数不断减小。
这种学习算法的直观解释：利用误分类点来调整超平面，来将超平面朝着误分类点移动，减小距离，直至被正确分类。
算法过程：

2.3.2算法的收敛性

感知机的原始算法经过迭代的次数 是有限的，即算法的收敛性，具体证明过程见课本。

2.3.3感知机学习算法的对偶形式

原理：原始形式是将w，b进行了n次修改，则其变化可以用增量形式表示：

算法过程：