统计学习方法笔记二

第二章 感知机

一、感知机定义

假设输入空间（特征空间）是$x\subseteq R^n$,输出空间是 y = { + 1 , − 1 } y=\{+1,-1\} y={+1,−1}。输入$x\in X$表示实例的特征向量，对应于输入空间（特征空间）的点；输出$y\in Y$表示实例的类型。由输入空间到输出空间的如下函数：
$$f(x)=sign(w\cdot x+b)$$
称为感知机，感知机是根据输入实例的特征向量x对其进行二类分类的线性分类模型。

感知机模型对应于输入空间（特征空间）中的分离超平面 $w\cdot x+b=0$。

二、感知机学习策略

感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。

感知机学习的策略是极小化损失函数：
其中M为误分类点的集合，损失函数对应于误分类点到分离超平面的总距离。

三、感知机学习算法

1.原始形式

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},其中$x_i\in X=R^n$, y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , . . . N y_i \in Y =\{-1,+1\},i=1,2,...N yi​∈Y={−1,+1},i=1,2,...N; 学习率 $\eta (0<\eta \le 1)$;

输出：w，b；感知机模型$f(x)=sign(w\cdot x+b)$。

(1)选取初值$w_0,b_0$;

(2)在训练集中选取数据$(x_i,y_i)$;

(3)如果$y_i(w\cdot x_i+b)\le 0$,
$$w\leftarrow w+\eta y_i{x}_i$$

$$b\leftarrow b+\eta y_i$$

(4)转至(2),直至训练集中没有误分类点。

直观上有如下解释：当一个实例点被误分类，即位于分离超平面的错误一侧时，则调整w,b的值，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面间的距离，直至超平面越过该误分类点使其被正确分类。

2.对偶形式

输入：线性可分的数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},其中$x_i\in X^n$, y i ∈ { − 1 , + 1 } , i = 1 , 2 , . . . N y_i \in \{-1,+1\},i=1,2,...N yi​∈{−1,+1},i=1,2,...N; 学习率 $\eta (0<\eta \le 1)$;

输出：$\alpha$，b；感知机模型$f(x)=sign({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)$，其中$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_N{)}^T$

(1)$\alpha \leftarrow 0,b\leftarrow 0$;

(2)在训练集中选取数据$(x_i,y_i)$;

(3)如果$y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)\le 0$,
$${\alpha }_i\leftarrow {\alpha }_i+\eta$$

$$b\leftarrow b+\eta y_i$$

(4)转至(2)直至没有误分类数据。

对偶形式中训练实例仅以内积的形式出现，可预先将数据集中实例间的内积用Gram矩阵存储

$G=[x_i\cdot x_j{]}_{N\times N}$