《统计学习方法》二：手推“感知机”

第二章 感知机

感知机是一个二分类问题线性模型。旨在于找到一个超平面将正负样本分开。是支持向量机SVM和神经网络的基础。

2.1.感知机模型
感知机时一种线性分类模型，属于判别模型。感知机的假设空间是定义在特征空间的所有线性分类模型或线性分类器。具体定义如下：

2.2.感知机学习策略
2.2.1.感知机的线性可分
如果存在一个超平面$wx+b$可以将正负两类样本完全的划分到超平面两侧，则称该数据及是线性可分的，否则为线性不可分。
2.2.2.感知机学习策略
感知机训练的目标是得到可以将正负两类样本完全分开的超平面$wx+b=0$。w$和$b$即为需要学习的参数。具体求策略即损失函数为误分类点到超平面距离的总和。具体如下：

2.3.感知机学习算法
为了方便求解，将上面损失函数的最小化问题转换成对偶问题。
2.3.1.感知机学习算法的原始形式

2.3.2.算法的收敛性

2.3.3.感知机算法的对偶形式