统计学习方法——感知机

基本模型

感知机1957年由Rosenblatt提出，是神经网络与SVM的基础。它是一个二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。

线性方程w⋅x+b=0对应于特征空间Rn中的一个超平面S，其中w是超平面的法向量，b是超平面的截距。超平面将特征空间划分为两个部分。位于两个部分的点（特征向量）分别被分为正负两类。

数据集的线性可分性

如果存在某个超平面w⋅x+b=0能将数据集的正实例点和负实例点完全正确地划分到超平面两侧，称数据集T为线性可分数据集。

损失函数的选择

损失函数的一个自然选择是误分类点的总数，但是这样的损失函数不是参数w，b的连续可导函数，不易优化。损失函数的另一个选择是误分类点到超平面S的总距离，这是感知机所采用的。

点到超平面S的距离

首先，输入空间Rn中任一点x0到超平面的距离如下式所示，这里||w||表示L2范数。

误分类点到超平面S的距离

对于误分类数据(xi,yi)来说，−yi(w⋅xi+b)>0，因此，误分类点到超平面S的距离为