统计学习方法 第2章 感知机

统计学习方法 第2章 感知机

模型

感知机：假设输入空间是X⊆Rⁿ，输出空间Y={+1, -1}。由输入空间到输出空间的函数：

称为感知机。
其中w∈Rⁿ称为权值，b属于R称为偏置，w·x为内积，sign是符号函数。

感知机是一种线性分类器，属于判别模型。

策略

假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面，即确定感知机的模型参数w，b。

假设M为所有误分类点的集合，则所有误分类点到超平面的总距离：

省略常数项即为感知机的损失函数：

算法

感知机学习算法即求参数w，b，使其为以下损失函数极小化问题的解：

感知机学习算法是误分类驱动的，具体采用随机梯度下降法。
首先任意选取一个超平面w₀，b₀，然后用梯度下降法不断极小化目标函数。极小化过程中每一次随机选取一个误分类点使其梯度下降。

假设误分类点集合M固定，则损失函数L(w,b)的梯度为：

随机选取一个误分类点(x_i，y_i)，对w，b进行更新：

其中η为学习率。

如此不断取新模型下的误分类点，直到所有点被正确分类。

可以证明，若数据集是线性可分的，则感知机算法的误分类次数k由上界，即经过有限次搜索可以找到将训练数据完全正确分开的超平面。（证明p31）