李航统计学习笔记，感知机学习算法

感知机模型

感知机类似于神经网络中的一层，特征空间为 $\chi \subseteq R^n$ ，输出为 y = { − 1 , 1 } y = \{-1,1\} y={−1,1}。其输入到输出的映射函数可以表示为
$$f(x)=sign(w\cdot x+b)$$

其中，w和b被称为感知机模型的参数，$w\in R^n$被称为权值向量，$b\in R$被称为偏置。 $w\cdot x$表示$w$和$x$的内积，$sign$是符号函数，表示为：
$$a=\{\begin{array}{c}+1,x⩾0\\ -1,x<0\end{array}$$
感知机分类的实质就是找到一个存在于特征空间$ R ^{n}$内的超平面，将整个空间划分为两个部分，分别标记为正负两类。
这也是感知机为什么无法处理异或问题的原因，异或问题并非线性可分问题，所以也不存在一个超平面能完整的将其分为两个部分。

感知机学习策略

线性可分性

从感知机的实质出发理解线性可分性，能被超平面完整划分为两部分的数据集被称为线性可分数据集。
即对于所有$y>1$的实例均有$w\cdot x+b>0$，对于所有$y<1$的实例均有$w\cdot x+b<0$

感知机学习策略

感知机的目标是找到一个能将训练集中正负实例点完全分离的超平面，为了找到这样的超平面，我们想到的办法是找到一个模型参数w，b，使得通过w，b构建的超平面能无限接近于目标的超平面。
为了实现这个目标，我们需要找到一个合适的度量，用以描述我们找到的构建超平面与目标超平面之间的距离。再通过不断缩小这个距离，使其无限接近于0，以得到无限接近与目标超平面的构建超平面。

那么如何得到这个损失呢？
首先我们先回忆一下点到直线的距离公式
$$d=\frac{A{x}_0+B{y}_0+C}{\sqrt{A^2+b^2}}$$

可以看出，A，B，C的值相当于我们感知机模型中的w，b，则根据点到直线的公式，得到点到超平面的公式
$$\frac{1}{||w||}|w\cdot x_0+b|$$
其中，||w||是w的$L_2$范数。

我们的思路是，既然无法直接求得两个超平面之间的距离，那为何不求出每个数据点到构建超平面的距离呢？如果这些点都分离在构建超平面的两侧，那是不是可以理解为我们求出的超平面与某一目标超平面无限接近了呢 （目标超平面不唯一）?

显而易见，在数据量足够大的情况下是可以的。这也是机器学习的关键问题，数据量问题。一般我们所说的过拟合问题往往是因为数据量太小，不足以完全刻画我们的超平面造成的。
我们根据点到超平面的距离公式可以得到每个数据点到超平面的距离，在超平面之上的点带入距离公式中，去掉绝对值可以得到$(w\cdot x+b)>0$相反，在超平面之下的点，可以得到$(w\cdot x+b)<0$，令超平面之上的点的y值为1 ，之下为-1，则对所有分类错误的点的集合M来说：
$$-y_i(w\cdot x_i+b)>0$$则所有误分类点到超平面的距离为：$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
不考虑$\frac{1}{||w||}$,就得到了感知机的损失函数，定义为
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
根据以上的推导我们可以知道损失函数$L(w,b)$是非负的。如果无分类错误，$L$的值为0。分类错误越少，$L$的值越小。故在存在误分类的情况下，$L$是$w,b$的线性函数，在无误分类的情况下，$L$的值为0。因此可以得知，$L$是$w,b$的连续可导函数。

感知机学习算法

原始形式

在确定损失函数的情况下，感知机学习算法则变成了求一个损失函数极小化的问题的解。
由于已经证明$L$是$w,b$的连续可导函数。则通过梯度下降的方式可以更新是$w,b$的值。
可以求得关于$w,b$的偏导数：
$${▽}_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i$$
$${▽}_{b}L(w,b)=-\sum _{x_i\in M}{y}_i$$
对于每一个误分类点，都会对$w，b$进行更新：
$$w\leftarrow w+\eta y_i{x}_i$$
$$b\leftarrow b+\eta y_i$$
其中，$\eta$为学习率。
通过不断更新$w,b$的值，可以使$L(w,b)$的值不断减少，直到为0。
据此，提出感知机学习算法的原始形式。

输入：训练数据 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . . . . , ( x N , y N ) } T=\{(x_{1},y_{1}),(x_{2},y_{2}),......,(x_{N},y_{N}) \} T={(x1​,y1​),(x2​,y2​),......,(xN​,yN​)}，其中 x i ∈ R n , y i ∈ { + 1 , − 1 } , i = 1 , 2 , . . . , N ； x_{i} \in R^{n},y_{i} \in \{+1,-1\} , i=1,2,...,N ； xi​∈Rn,yi​∈{+1,−1},i=1,2,...,N；学习率为$\eta (0<\eta ⩽1)$
输出：$w,b;$感知机模型$f(x)=sign(w\cdot x+b).$

(1)选取初值$w_0,b_0$
(2)在训练集中选取数据$(x_i,y_i)$
(3)如果$y_i(w\cdot x_i+b)⩽0$
$$w\leftarrow w+\eta y_i{x}_i$$
$$b\leftarrow b+\eta y_i$$
(4)转至(2)，直到没有误分类点

收敛性证明（Novikoff定理）

(Novikoff)
训练数据 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . . . . , ( x N , y N ) } T=\{(x_{1},y_{1}),(x_{2},y_{2}),......,(x_{N},y_{N}) \} T={(x1​,y1​),(x2​,y2​),......,(xN​,yN​)}是线性可分的，其中 x i ∈ R n , y i ∈ { + 1 , − 1 } , i = 1 , 2 , . . . , N ； x_{i} \in R^{n},y_{i} \in \{+1,-1\} , i=1,2,...,N ； xi​∈Rn,yi​∈{+1,−1},i=1,2,...,N；则：

(1)存在满足条件$\Vert {\hat{w}}_{opt}\Vert =1$的超平面${\hat{w}}_{opt}\cdot \hat{x}=w_{opt}\cdot x+b_{opt}=0$ 将训练数据完全正确分开；且存在$\gamma >0$,则对于所有的$i=1,2,...,N$:
$$y_i({\hat{w}}_{opt}\cdot {\hat{x}}_i)=w_{opt}\cdot x+b_{opt}\ge \gamma (eq1)$$

(2)令$R=\underset{1⩽i⩽N}{\max }||{\hat{x}}_i||$，则感知机算法在训练数据集上误分类次数k满足不等式
$$k⩽(\frac{R}{\gamma }{)}^2(eq2)$$

证明：
对于（1）来说，由于数据集线性可分，故一定存在一个超平面将数据集完全分开，取此超平面为${\hat{w}}_{opt}\cdot \hat{x}=w_{opt}\cdot x+b_{opt}=0$ 使$\Vert {\hat{w}}_{opt}\Vert =1$对于i=1,2，，，N均有$$y_i({\hat{w}}_{opt}\cdot \hat{x})=y_i(w_{opt}\cdot x+b_{opt})>0$$所以存在 γ = m i n i { y i ( w o p t ⋅ x + b o p t ) } \gamma=\underset{i}{min}\{y_{i}(w_{opt} \cdot x + b_{opt}) \} γ=imin​{yi​(wopt​⋅x+bopt​)}使$$y_i({\hat{w}}_{opt}\cdot \hat{x})=y_i(w_{opt}\cdot x+b_{opt})⩾\gamma$$

对于（2）的证明如下：
从${\hat{w}}_0=0$开始，如果实例被误分类，则更新权重。令${\hat{w}}_{k-1}$是第k个误分类实例之前的权重向量，即 w ^ k − 1 = { w k − 1 T , b k − 1 } T \hat w_{k-1}=\{ w_{k-1}^{T}, b_{k-1}\}^{T} w^k−1​={wk−1T​,bk−1​}T已知条件为分类错误次数为k，则第k个误分类的实例条件为
$$y_i({\hat{w}}_{k-1}\cdot \hat{x})=y_i(w_{k-1}\cdot x+b_{k-1})⩽0(eq3)$$若是被 w ^ k − 1 = { w k − 1 T , b k − 1 } T \hat w_{k-1}=\{ w_{k-1}^{T}, b_{k-1}\}^{T} w^k−1​={wk−1T​,bk−1​}T错误分类的数据，那么$(w,b)$将会被更新为：
$$w_k\leftarrow w_{k-1}+\eta y_i{x}_i$$$$b_k\leftarrow b_{k-1}+\eta y_i$$
也就是$${\hat{w}}_k={\hat{w}}_{k-1}+\eta y_i{x}_i(eq4)$$

下面是证明的核心部分
推导两个不等式**（完全不晓得是从哪里找到的这两个不等式）**

1. ${\hat{w}}_k{\hat{w}}_{opt}⩾k\eta \gamma$
2. $||{\hat{w}}_k|{|}^2⩽k{\eta }^2{\gamma }^2$

对于1的证明，可以由eq1以及eq4得到：
$${\hat{w}}_k{\hat{w}}_{opt}={\hat{w}}_{k-1}{\hat{w}}_{opt}+\eta y_i{\hat{w}}_{opt}{\hat{x}}_i⩾{\hat{w}}_k{\hat{w}}_{opt}+\eta \gamma$$由于设${\hat{w}}_0=0$，因此上式可以递推为
$${\hat{w}}_k{\hat{w}}_{opt}⩾k\eta \gamma$$

对于2的证明，可以由eq3以及eq4得到：
$$||{\hat{w}}_k|{|}^2=||{\hat{w}}_{k-1}|{|}^2+2\eta y_i{\hat{w}}_{k-1}\cdot {\hat{x}}_i+{\eta }^2||{\hat{x}}_i|{|}^2$$

根据eq3可知$2\eta y_i{\hat{w}}_{k-1}\cdot {\hat{x}}_i⩾0$，故$$||{\hat{w}}_k|{|}^2⩽||{\hat{w}}_{k-1}|{|}^2+{\eta }^2||{\hat{x}}_i|{|}^2$$递推得$$||{\hat{w}}_k|{|}^2⩽k{\eta }^2{\gamma }^2$$

综合1以及2，可得：
$$k\eta \gamma ⩽{\hat{w}}_k{\hat{w}}_{opt}⩽||{\hat{w}}_k||||{\hat{w}}_{opt}||⩽\sqrt{k}\eta R$$$$k^2{\gamma }^2⩽k^2{\eta }^2$$

(根据向量的余弦公式可以得到${\hat{w}}_k{\hat{w}}_{opt}=||{\hat{w}}_k||||{\hat{w}}_{opt}||cos\angle {\hat{w}}_k{\hat{w}}_{opt}⩽||{\hat{w}}_k||||{\hat{w}}_{opt}||$)

故可证$$k⩽(\frac{R}{\gamma }{)}^2$$
这个定理说明，感知机算法误分类次数k是有上界的。

对偶形式

感知机算法的对偶形式其实就是用一种累加求和的方式来表示$w,b$的值。通过 $$w\leftarrow w+\eta y_i{x}_i$$$$b\leftarrow b+\eta y_i$$
逐步改善$w,b$的值，可以用一个参数${\alpha }_i$代替$n_i\eta$，则最后可以表示为$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$$$b=\sum _{i=1}^N{\alpha }_i{y}_i$$

除此之外并无任何改变，我们可以得到感知机算法的对偶形式:
输入：训练数据 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . . . . , ( x N , y N ) } T=\{(x_{1},y_{1}),(x_{2},y_{2}),......,(x_{N},y_{N}) \} T={(x1​,y1​),(x2​,y2​),......,(xN​,yN​)}，其中 x i ∈ R n , y i ∈ { + 1 , − 1 } , i = 1 , 2 , . . . , N ； x_{i} \in R^{n},y_{i} \in \{+1,-1\} , i=1,2,...,N ； xi​∈Rn,yi​∈{+1,−1},i=1,2,...,N；学习率为$\eta (0<\eta ⩽1)$
输出：$\alpha ,b;$感知机模型$f(x)=sign(w\cdot x+b).$

(1)$\alpha \leftarrow 0,b\leftarrow 0$
(2)在训练集中选取数据$(x_i,y_i)$
(3)如果$y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)⩽0$
$${\alpha }_i\leftarrow {\alpha }_i+\eta$$$$b\leftarrow b+\eta y_i$$
(4)转至(2)，直到没有误分类点

李老师的书里还有一个Gram矩阵，其实就是$x_i$内积的矩阵
$$G=\left[\begin{array}{ccc}(x_1\cdot x_1)& (x_1\cdot x_2)& (x_1\cdot x_3)\\ (x_2\cdot x_1)& (x_2\cdot x_2)& (x_2\cdot x_3)\\ (x_3\cdot x_1)& (x_3\cdot x_2)& (x_3\cdot x_3)\end{array}\right]$$

(完)