【统计学习方法】感知机模型学习笔记

感知机模型

感知机是线性二类分类模型，即预测一个样本是正例（用+1表示），还是反例（用-1表示）。感知机模型属于判别模型。

感知机模型定义：

假设空间是X，输出空间为Y={+1,-1}.称从X到Y的映射函数f(x)=sign(wx+b)为感知机。其中， w和b为感知机模型参数。注意， w和b可以是一个多维向量。特别地，如果w,b是一个实数，则w为直线的斜率，b为在y轴的截距。

数据集的线性可分性

简单地说，数据集的可分性是指，给定一个数据集，如果存在一个超平面，将数据集中的所有正例样本和反例样本完全正确分开，则称该数据集是线性可分数据集。

接下来，感知机模型要做的就是找到这个超平面。为此，只需要确定模型参数w和b即可。

学习策略

我们需要选择一个策略使得误分类点越少越好。这个策略可以通过损失函数刻画。
对于误分类点（x_i, y_i）， y_i(wx_i+b)<0，即 -y_i(wx_i+b)>0.
误分类点x_i到超平面S的距离为-1/||w|| y_i(wx_i+b)

则可获得所有误分类点到超平面的距离为-1/||w|| y_i(wx_i+b)