统计学习方法——第2章 感知机模型

感知机（perception）是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。

2.1 感知机模型

$$f(x)=\mathrm{sign}(w\cdot x+b)$$

$w$和$b$为感知机模型参数，$w\in {\mathbf{R}}^n$叫做权重或权值向量，$b\in \mathbf{R}$叫做偏置，$w\cdot x$表示内积。

几何解释：

线性方程$w\cdot x+b=0$对应于特征空间 ${\mathbf{R}}^n$的一个超平面$S$，其中$w$是超平面的法向量，$b$是超平面的截距。这个超平面$S$将特征空间划分为正负两类样本的空间。$S$称为分离超平面。

线性可分性：如果存在某个超平面$S$能够将正实例点和负实例点完全正确地划分到超平面两侧，则数据集具有线性可分性。

定理（Novikoff）:设训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T = \{ (x_1, y_1), (x_2, y_2), ... , (x_N, y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}是线性可分的，其中$x_i\in \mathcal{X}={\mathbf{R}}^n$, y i ∈ Y = { − 1 , + 1 } y_{i} \in \mathcal{Y}=\{-1,+1\} yi​∈Y={−1,+1}，则：

（1）存在满足条件$||{\hat{w}}_{opt}||=1$的超平面${\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot \hat{x}=w_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot x+b_{\mathrm{o}\mathrm{p}\mathrm{t}}=0$将数据集完全正确分开；且存在$\gamma >0$，满足：
$$y_i\left({\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot {\hat{x}}_i\right)=y_i\left(w_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot x_i+b_{\mathrm{o}\mathrm{p}\mathrm{t}}\right)⩾\gamma$$
（2）令 R = m a x { ∣ ∣ x ^ i ∣ ∣ } R = max\{||\hat x_i||\} R=max{∣∣x^i​∣∣},则感知算法在训练数据集上的误分类次数$k$满足不等式：
$$k⩽{\left(\frac{R}{\gamma }\right)}^2$$

2.2 感知机学习策略

对于误分类点$(x_i,y_i)$, 当$w\cdot x+b>0$时，$y_i=-1$;当$w\cdot x+b<0$时，$y_i=+1$,所以有:
$$-y_i(w\cdot x+b)>0$$
误分类点$(x_i,y_i)$到超平面$S$的距离为：
$$d=-\frac{y_i(w\cdot x+b)}{||w||}$$
设所有误分类点到超平面$S$的集合为$M$，则总距离(忽略$\frac{1}{||w||}$) 为：
$$d_s=-\sum _{x_i\in M}{y}_i(w\cdot x+b)$$
因此，感知机$\mathrm{sign}(w\cdot x+b)$的损失函数定义为：
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x+b)$$

即感知机学习的是经验风险最小化的损失函数（经验风险函数）。

2.3 原始形式的感知机学习算法

感知机学习算法是误分类驱动，采用随机梯度下降（SGD）算法。随机选取超平面$(w_0,b_0)$，采用梯度下降算法最小化损失函数。对于误分类点$(x_i,y_i)$，满足:$y_i(w\cdot x+b⩽0)$，采用如下更新方式：

$w$的梯度计算：${\nabla }_{w}L(w,b)=-{\sum }_{x_i\in M}{y}_i{x}_i$；更新公式：$w\leftarrow w+\eta y_i{x}_i$；

$b$的梯度计算：${\nabla }_{b}L(w,b)=-{\sum }_{x_i\in M}{y}_i$；更新公式：$b\leftarrow b+\eta y_i$；

注:感知机学习由于采用不同的初值或选取不同的误分类点，解可以不同。由Novikoff定理可知，误分类次数$k$存在上界，经过有限次搜索可以找到将训练数据集完全分开的分离超平面，即当数据集线性可分时，感知学习算法是收敛的。为了得到唯一超平面，需要对超平面添加约束条件，即线性支持向量机。当训练数据集线性不可分时，感知机学习算法不收敛，迭代结果会发生振荡。

2.4 对偶形式的感知机学习算法

感知机模型：
$$f(x)=\mathrm{sign}\left(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b\right)$$
其中$\alpha ={\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N\right)}^{\mathrm{T}}$，${\alpha }_i=n_i\eta$，对于$y_i\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b\right)⩽0$,采用如下更新公式：

​ $w\leftarrow w+\eta y_i{x}_i$，最终学习的$w={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i$

​ $b\leftarrow b+\eta y_i$，最终学习的$b={\sum }_{i=1}^N{\alpha }_i{y}_i$

为了方便，可以预定义并存储实例间内积矩阵，即Gram Matrix:$G={\left[x_i\cdot x_j\right]}_{N\times N}$。