【李航统计学习笔记】第二章：感知机

2.1 感知机模型

模型

感知机（Perceptron）针对的是二分类的线性模型，其输入为实例的特征向量，输出为实例的类别，取+1、-1。

假设输入空间是$X\subseteq R^n$

输入变量是$x\in X$

输出空间是 Y = { + 1 , − 1 } Y=\{+1,-1\} Y={+1,−1}

输出变量是 y ∈ { + 1 , − 1 } y \in\{+1,-1\} y∈{+1,−1}

由输入空间到输出空间满足下列函数：
$$f(x)=\mathrm{sign}(w\cdot x+b)$$
其中$w$是权重参数，$b$是偏置项，$sign$是符号函数，即
$$\mathrm{sign}(x)=\{\begin{array}{rl}1,& x\ge 0\\ -1,& x<0\end{array}$$
感知机模型属于线性判别模型，旨在求出将训练数据进行线性划分的分离超平面

$w\cdot x+b$​是一个n维空间中的超平面S，其中w是超平面的法向量，b是超平面的截距，这个超平面将特征空间划分成两部分，位于两部分的点分别被分为正负两类，所以，超平面S称为分离超平面。其中w是超平面的法向量, b是超平面的截距, 特征空间也就是整个n维空间，样本的每个属性都叫一个特征，特征空间的意思是在这个空 间中可以找到样本所有的属性组合

感知机学习策略

函数间隔与几何间隔

空间中任意一个点$x_0$到超平面S的距离。

函数间隔：
$$\left|w\cdot x_0+b\right|$$
几何间隔：
$$\begin{gathered} \frac{1}{\Vert w\Vert }\left|w\cdot x_0+b\right| \\ \Vert w{\Vert }_2=\sqrt{\sum _{i=1}^N{w}_i^2} \end{gathered}$$
对于误分类数据而言,
$$-y_i\left(w\cdot x_i+b\right)>0$$
误分类点$x_i$ 到超平面S的距离为
$$-\frac{1}{\Vert w\Vert }{y}_i\left(w\cdot x_i+b\right)$$
因此，所有误分类点到超平面S的总距离为:
$$-\frac{1}{\Vert w\Vert }\sum _{x_i\in M}{y}_i\left(w\cdot x_i+b\right)$$

损失函数：误分类点到超平面的总距离
$$L(w,b)=-\sum _{x_i\in M}{y}_i\left(w\cdot x_i+b\right)$$
输入空间$R_n$中任意一点$x_0$到超平面$S$的距离可表示为$\frac{|w\cdot x_0+b|}{\Vert w\Vert }$,其中$\Vert w\Vert$表示为$w$的$L2$范数。其次，对于误分类点$(x_i,y_i)$来说, $-y_i(w\cdot x_i+b)>0$成立. 当$w\cdot x_i+b>0$时，$y_i=-1$。而当$w\cdot x_i+b<0$时，$y_i=+1$。因此而误分类点$x_i$到超平面$S$的距离是
$$-\frac{1}{\Vert w\Vert }{y}_i\left(w\cdot x_i+b\right)$$
假设超平面$S$的五分类点集合为$M$,那么所有误分类点到超平面$S$的总距离为
$$-\frac{1}{\Vert w\Vert }\sum _{x_i\in M}{y}_i\left(w\cdot x_i+b\right)$$
忽略$\Vert w\Vert$，就得到感知机学习的损失函数
$$L(w,b)=-\sum _{x_i\in M}{y}_i\left(w\cdot x_i+b\right)$$
其中$M$为误分类点的集合

感知机学习算法

算法2.1（随机梯度下降法）

输入：训练数据集$T=\left[\left(x_1,y_1\right),\dots ,\left(x_N,y_N\right)\right]$

1. 选取超平面初始值$w_0,b_0$

2. 在训练集中选取数据$(x_i,y_i)$ ，如果$y_i\left(w\cdot x_i+b\right)\le 0$，采用梯度下降法极小化目标函数
   $$\begin{array}{rl}& L(w,b)=-\sum _{x_i\in M}{y}_i\left(w\cdot x_i+b\right)\\ & {\nabla }_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i\\ & {\nabla }_{b}L(w,b)=-\sum _{x_i\in M}{y}_i\end{array}$$

3. 更新$w,b$

$$\begin{array}{rl}& w\leftarrow w+\eta y_i{x}_i\\ & b\leftarrow b+\eta y_i\end{array}$$

4. 转至2, 直到训练集中没有误分类点。

输出: $w,b$

2.2 对偶形式

感知机模型对偶形式
$$f(x)=\mathrm{sign}\left(\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\cdot x+b\right),\alpha =({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N{)}^T$$

算法2.2原始形式

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots,\left(x_{N}, y_{N}\right)\right\} T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}, 其中 x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , … , N x_{i} \in X=R^{n}, y_{i} \in Y=\{-1,+1\}, i=1,2, \ldots, N xi​∈X=Rn,yi​∈Y={−1,+1},i=1,2,…,N; 学习率$\eta (0<\eta \le 1)$；

输出：$w$,$b$; 感知机模型$f(x)=\mathrm{sign}(w\cdot x+b)$

1. 选取初始值$w_0,b_0$
2. 在训练集中选取数据$(x_i,y_i)$
3. 如果$y_i\left(w\cdot x_i+b\right)\le 0$

$$\begin{array}{c}w\leftarrow w+\eta y_i{x}_i\\ b\leftarrow b+\eta y_i\end{array}$$

4. 转至2， 直至训练集中没有误分类点

思考：

1. 每次参数的更新公式是：

$$\begin{array}{c}w\leftarrow w+\eta y_i{x}_i\\ b\leftarrow b+\eta y_i\end{array}$$

2. 每次按照上式更新，假设修改n次，那么对于样本点$(x_i,y_i)$而言，$w$和$b$的增量为${\alpha }_i{y}_i{x}_i$和${\alpha }_i{y}_i$，其中${\alpha }_i=n_i\eta$。

$$\begin{array}{rl}& w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ & b=\sum _{i=1}^N{\alpha }_i{y}_i\end{array}$$

3. 原始的感知机形式为:

$$f(x)=\mathrm{sign}(w\cdot x+b)$$

4. 将目前的$w$和$b$代入原始感知机形式中:

$$f(x)=\mathrm{sign}\left(\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\cdot x+b\right)$$

感知机的对偶形式

输入：线性可分的数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots,\left(x_{N}, y_{N}\right)\right\} T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}, 其中 x i ∈ R n , y i ∈ { − 1 , + 1 } , i = 1 , 2 , … , N x_{i} \in R^{n}, y_{i} \in\{-1,+1\}, i=1,2, \ldots, N xi​∈Rn,yi​∈{−1,+1},i=1,2,…,N, 学习率$\eta (0<\eta \le 1)$;

输出：$\alpha ,b$; 感知机模型$f(x)=\mathrm{sign}\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b\right)$, 其中$\alpha ={\left({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_N\right)}^T$.

1. $\alpha \leftarrow 0,b\leftarrow 0$
2. 在训练集中选取数据$(x_i,y_i)$
3. 如果$y_i\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b\right)\le 0$

$$\begin{array}{rl}& {\alpha }_1\leftarrow {\alpha }_1+\eta \\ & b\leftarrow b+\eta y_i\end{array}$$

4. 转至第二步，直至训练集中没有误分类点

对偶形式中训练实例仅以内积的形式出现。为了方便，可以预先将训练集中实例间的内积计算出来并以矩阵 的形式储存，这个矩阵就是所谓的Gram矩阵:
$$G={\left[x_i\cdot x_j\right]}_{N\times N}$$

2.3 算法收敛性

需要证明，感知机学习算法的原始形式在线性可分数据集上收敛。

为了便于推导，将偏置b并入权重向量w，计作$\tilde{w}={\left(w^T,b\right)}^T$，同样也将输入向量加以扩充，加进常数1，记作$\tilde{x}={\left(x^T,1\right)}^T$，显然，经过处理后，$\tilde{w}\cdot \tilde{x}=w\cdot x+b$。

设训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \ldots,\left(x_{N}, y_{N}\right)\right\} T={(x1​,y1​),(x2​,y2​),…,(xN​,yN​)}是线性可分的，其中 x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , … , N x_{i} \in X=R^{n}, y_{i} \in Y=\{-1,+1\}, i=1,2, \ldots, N xi​∈X=Rn,yi​∈Y={−1,+1},i=1,2,…,N, 则

1. 存在瞒住条件$\Vert {\hat{\mathbf{w}}}_{\text{opt }}\Vert =1$的超平面${\hat{\mathrm{w}}}_{\text{opt }}\cdot \hat{\mathrm{w}}=w_{opt}\cdot x+b_{opt}=0$将训练数据集完全正确分开；且存在$\gamma >0$，对所有$i=1,2,\dots ,N$:

$$y_i\left({\hat{\mathrm{w}}}_{\mathrm{opt}}\cdot \widehat{x_i}\right)=y_i\left(w_{\mathrm{opt}}\cdot x_i+b_{\text{opt }}\right)\ge \gamma$$

2. 令$R={\max }_{1\le i\le N}\Vert {\hat{x}}_i\Vert$, 则感知机算法在训练数据集上的误分类次数k满足不等式：

$$k\le {\left(\frac{R}{\gamma }\right)}^2$$

证明(1)

由于训练数据集是线性可分的，按照定义2.2，存在超平面可将训练数据集完全正确分开，取此超平面为${\hat{\mathrm{w}}}_{\text{opt }}\cdot \hat{x}=w_{opt}\cdot x+b_{opt}=0$, 使得$\Vert {\hat{\mathrm{w}}}_{\text{opt }}\Vert =1$。由于对有限的$i=1,2,\dots ,N$, 均有
$$y_i\left({\hat{\mathrm{w}}}_{\mathrm{opt}}\cdot {\hat{x}}_i\right)=y_i\left(w_{\mathrm{opt}}\cdot x_i+b_{opt}\right)>0$$
所以存在
γ = min ⁡ { y i ( w o p t ⋅ x i + b o p t ) \gamma=\min \left\{y_{i}\left(w_{\mathrm{opt}} \cdot x_{i}+b_{o p t}\right)\right. γ=min{yi​(wopt​⋅xi​+bopt​)
使得
$$y_i\left({\hat{\mathrm{w}}}_{\mathrm{opt}}\cdot {\hat{x}}_i\right)=y_i\left(w_{\mathrm{opt}}\cdot x_i+b_{\mathrm{opt}}\right)\ge \gamma$$
证明(2)

感知机算法从$\hat{\mathrm{w}}=0$开始，如果实例被误分类，则更新权重，令${\hat{w}}_{k-1}$是第k个误分类 实例之前的扩充权重向量，即
$${\hat{\mathrm{w}}}_{k-1}={\left(w_{k-1}^T,b_{k-1}\right)}^T$$
则第$k$个误分类实例的条件是
$$y_i\left({\hat{w}}_{k-1}\cdot {\hat{x}}_i\right)=y_i\left(w_{k-1}\cdot x_i+b_{k-1}\right)\le 0$$
若$\left(x_i,y_i\right)$是被${\hat{w}}_{k-1}={\left(w_{k-1}^T,b_{k-1}\right)}^T$误分类的数据，则$w$和$b$的更新是
$$\begin{array}{c}{w}_k\leftarrow w_{k-1}+\eta y_i{x}_i\\ b_k\leftarrow b_{k-1}+\eta y_i\end{array}$$
即
$${\hat{\mathrm{w}}}_k={\hat{\mathrm{w}}}_{k-1}+\eta y_i\widehat{x_i}$$
下面推导两个不等式.首先第一个：
$${\hat{\mathbf{W}}}_k\cdot {\hat{\mathbf{W}}}_{opt}\ge k\eta \gamma$$

由书中式(2.11)(这里的式(30))和式(2.8)(这里的式(22))可得
$$\begin{array}{rl}{\hat{\mathrm{w}}}_k\cdot {\hat{\mathrm{w}}}_{opt}& ={\hat{\mathrm{w}}}_{k-1}\cdot {\hat{\mathrm{w}}}_{opt}+\eta y_i{\hat{\mathrm{w}}}_{opt}\cdot \widehat{x_i}\\ & \ge {\hat{\mathrm{w}}}_{k-1}\cdot {\hat{\mathrm{w}}}_{opt}+\eta \gamma \end{array}$$
由此递推得到不等式(书中式(2.12))
$${\hat{\mathrm{w}}}_k\cdot {\hat{\mathrm{w}}}_{opt}\ge {\hat{\mathrm{w}}}_{k-1},{\hat{\mathrm{w}}}_{opt}+\eta \gamma \ge {\hat{\mathrm{w}}}_{k-2}\cdot {\hat{\mathrm{w}}}_{opt}+2\eta \gamma \ge \cdots \ge k\eta \gamma$$

$${\Vert {\hat{\mathrm{w}}}_k\Vert }^2\le k{\eta }^2{R}^2$$

由书中式(2.11)(这里的式(30))及式(2.10)(这里的(28))得
$$\begin{array}{c}{\Vert {\hat{\mathrm{w}}}_k\Vert }^2={\Vert {\hat{\mathrm{w}}}_{k-1}\Vert }^2+2\eta y_i{\hat{\mathrm{w}}}_{k-1}\cdot {\hat{x}}_i+{\eta }^2{\Vert {\hat{x}}_i\Vert }^2\\ \le {\Vert {\hat{\mathrm{w}}}_{k-1}\Vert }^2+{\eta }^2{\Vert {\hat{x}}_i\Vert }^2\\ \le {\Vert {\hat{\mathrm{w}}}_{k-1}\Vert }^2+{\eta }^2{R}^2\\ \le {\Vert {\hat{\mathrm{w}}}_{k-2}\Vert }^2+2{\eta }^2{R}^2\le \cdots \\ \le k{\eta }^2{R}^2\end{array}$$
结合上面的不等式(33)和(34)可得
$$\begin{array}{c}{\hat{\mathrm{w}}}_k\cdot {\hat{\mathrm{w}}}_{opt}\ge k\eta \gamma \\ {\Vert {\hat{\mathrm{w}}}_k\Vert }^2\le k{\eta }^2{R}^2\\ k\eta \gamma \le {\hat{\mathrm{w}}}_k\cdot {\hat{\mathrm{w}}}_{opt}\le \Vert {\hat{\mathrm{w}}}_k\Vert \Vert {\hat{\mathrm{w}}}_{opt}\Vert \le \sqrt{k}\eta R\\ k^2{\eta }^2\le k{R}^2\\ k\le {\left(\frac{R}{\gamma }\right)}^2\end{array}$$

总结

1. 通过证明感知机误分类次数是有上界的，说明通过有限次搜索可以找到将数据集完全正确分开的分离超平面
2. 当数据集线性不可分时，感知机学习算法不收敛， 会发生振荡。