感知机学习模型总结

一、前述

感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用随机梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法分为原始形式和对偶形式。感知机是神经网络与支持向量机的基础。

二、感知机介绍

I.模型

感知机模型可以由以下传递函数进行描述：
$$f(x)=sign(w\cdot x+b)$$
其中x∈X表示实例的特征向量，对应输入空间X的点；输出y∈Y表示实例的类别。由符号函数的特性，当$w\cdot x+b=0$，为感知机模型的决策边界。

II.策略

对于误分类点$(x_i,y_i)$来说，其到超平面S的距离是：
$$-\frac{1}{\parallel w\parallel }{y}_i(w\cdot x_i+b)$$
于是，假设超平面S的误分类点集合为M，那么所有误分类点到超平面的总距离为：$$-\frac{1}{\parallel w\parallel }\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$，不考虑$\frac{1}{\parallel w\parallel }$，就得到了感知机的损失函数。给定训练数据集 T = { ( x 1 , y 1 ) , ( x 1 , y 1 ) , ⋅ ⋅ ⋅ , ( x N , y N ) } T=\left\{(x_{1},y_{1}),(x_{1},y_{1}),\cdot \cdot \cdot ,(x_{N},y_{N})\right\} T={(x1​,y1​),(x1​,y1​),⋅⋅⋅,(xN​,yN​)}其中， x i ∈ χ = R n , y i ∈ γ = { + 1 , − 1 } , i = 1 , 2 , ⋅ ⋅ ⋅ , N x_{i}\in \chi = R^{n},y_{i}\in\gamma =\left \{ +1,-1 \right \},i=1,2,\cdot \cdot \cdot ,N xi​∈χ=Rn,yi​∈γ={+1,−1},i=1,2,⋅⋅⋅,N。感知机$f(x)=sign(w\cdot x+b)$学习的损失函数定义为：$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
其中M为误分类点的集合。这个损失函数就是感知机学习的经验风险函数。
于是，感知机学习的策略是在假设空间中选取使损失函数式最小的模型参数$w,b$，即感知机模型。

III.算法

由感知机学习的策略可知，感知机学习算法是由误分类驱动的，采用随机梯度下降法求解$$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
感知机学习算法的原始形式描述：首先，任意选取一个超平面$w_0,b_0$,然后用梯度下降法不断地极小化目标函数。极小化过程是一次随机选取一个误分类点使其梯度下降。具体操作实现如下：
输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 1 , y 1 ) , ⋅ ⋅ ⋅ , ( x N , y N ) } T=\left\{(x_{1},y_{1}),(x_{1},y_{1}),\cdot \cdot \cdot ,(x_{N},y_{N})\right\} T={(x1​,y1​),(x1​,y1​),⋅⋅⋅,(xN​,yN​)}，其中 x i ∈ χ = R n , y i ∈ γ = { + 1 , − 1 } , i = 1 , 2 , ⋅ ⋅ ⋅ , N x_{i}\in \chi = R^{n},y_{i}\in\gamma =\left \{ +1,-1 \right \},i=1,2,\cdot \cdot \cdot ,N xi​∈χ=Rn,yi​∈γ={+1,−1},i=1,2,⋅⋅⋅,N；学习率$\eta (0<\eta ⩽1);$
输出：$w,b$；感知机模型$f(x)=sign(w\cdot x+b)$。
(1)选取初值$w_0,b_0$；
(2)在训练集中选取数据$(x_i,y_i)$；
(3)如果$y_i(w\cdot x_i+b)⩽0$，
$w\leftarrow w+\eta y_i{x}_i$
$b\leftarrow b+\eta y_i$
(4)转至(2)，直至训练集中没有误分类点。
感知机学习算法原始形式的直观描述：当有一个实例点被误分类，则调整决策平面参数$w,b$，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面间的距离，直至超平面越过该误分类点使其被正确分类。

三、感知机学习算法原始形式及收敛证明

该证明的意义在于表明，感知机算法可经过有限次迭代得到一个将线性可分训练集完全正确划分的分离超平面及感知机模型。
为了便于叙述与推导，将偏置$b$并入权重向量$w$，记作$\hat{w}=(w^T,b{)}^T$，同样也将输入向量加以扩充，加进常数1，记作$\hat{x}=(x^T,1{)}^T$。这样，$\hat{x}\in R^{n+1},\hat{w}\in R^{n+1}$。显然，$\hat{w}\cdot \hat{x}=w\cdot x+b$。
Novikoff定理：设训练数据集 T = { ( x 1 , y 1 ) , ( x 1 , y 1 ) , ⋅ ⋅ ⋅ , ( x N , y N ) } T=\left\{(x_{1},y_{1}),(x_{1},y_{1}),\cdot \cdot \cdot ,(x_{N},y_{N})\right\} T={(x1​,y1​),(x1​,y1​),⋅⋅⋅,(xN​,yN​)}是线性可分的，其中 x i ∈ χ = R n , y i ∈ γ = { + 1 , − 1 } , i = 1 , 2 , ⋅ ⋅ ⋅ , N x_{i}\in \chi = R^{n},y_{i}\in\gamma =\left \{ +1,-1 \right \},i=1,2,\cdot \cdot \cdot ,N xi​∈χ=Rn,yi​∈γ={+1,−1},i=1,2,⋅⋅⋅,N，则
(1)存在满足条件$\parallel {\hat{w}}_{opt}\parallel =1$的超平面${\hat{w}}_{opt}\cdot \hat{x}=w_{opt}\cdot x+b_{opt}=0$将训练数据集完全正确分开(误分类表达式不适用!)；且存在$\gamma >0$，对所有$i=1,2,...,N$有$$y_i({\hat{w}}_{opt}\cdot {\hat{x}}_i)=y_i(w_{opt}\cdot x_i+b_{opt})⩾\gamma$$
(2)令$$R=\underset{1⩽i⩽N}{\max }\parallel {\hat{x}}_i\parallel$$，则感知机算法原始形式在训练数据集上的误分类次数$k$满足不等式$k⩽(\frac{R}{\gamma }{)}^2$

以下证明过程：
(1)由于训练数据集是线性可分的，因此存在超平面可使训练数据集完全正确分开，取超平面${\hat{w}}_{opt}\cdot \hat{x}=w_{opt}\cdot x+b_{opt}=0$，使$\parallel {\hat{w}}_{opt}\parallel =1$。由于是有限的训练集，因此是可数的样本集，因此均有$$y_i({\hat{w}}_{opt}\cdot {\hat{x}}_i)=y_i(w_{opt}\cdot x_i+b_{opt})>0$$所以存在 γ = min ⁡ i { y i ( w o p t ⋅ x i + b o p t ) } \gamma=\min_{i}^{}\left \{y_{i}(w_{opt}\cdot x_{i}+b_{opt}) \right \} γ=mini​{yi​(wopt​⋅xi​+bopt​)}使得$$y_i({\hat{w}}_{opt}\cdot {\hat{x}}_i)=y_i(w_{opt}\cdot x_i+b_{opt})⩾\gamma$$
(2)假设感知机算法从${\hat{w}}_0=0$开始，如果实例被误分类，则更新权重。令${\hat{w}}_{k-1}$是第$k$个误分类实例之前的扩充权重向量，即$${\hat{w}}_{k-1}=(w_{k-1}^T,b_{k-1}{)}^T$$则第$k$个误分类实例的条件是$y_i({\hat{w}}_{k-1}\cdot {\hat{x}}_i)=y_i(w_{k-1}\cdot x_i+b_{k-1})⩽0$
若$(x_i,y_i)$是被${\hat{w}}_{k-1}=(w_{k-1}^T,b_{k-1}{)}^T$误分类的数据，则按照学习率与梯度下降方向更新步长得${\hat{w}}_k={\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i$。
先推导以下两个不等式：$${\hat{w}}_k\cdot {\hat{w}}_{opt}⩾k\eta \gamma ①$$$${\Vert {\hat{w}}_k\Vert }^2⩽k{\eta }^2{R}^2②$$
首先证明①：
根据更新步长后的新决策边界有：$${\hat{w}}_k\cdot {\hat{w}}_{opt}={\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta y_i{\hat{w}}_{opt}\cdot {\hat{x}}_i⩾{\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta \gamma$$
根据上式继续递推得：$${\hat{w}}_k\cdot {\hat{w}}_{opt}⩾{\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta \gamma ⩾{\hat{w}}_{k-2}\cdot {\hat{w}}_{opt}+2\eta \gamma ⩾\cdots ⩾k\eta \gamma$$
接着证明②：
根据更新步长后的新决策边界又有：
${\Vert {\hat{w}}_k\Vert }^2={\Vert {\hat{w}}_{k-1}\Vert }^2+2\eta y_i{\hat{w}}_{k-1}\cdot {\hat{x}}_i+{\eta }^2{\Vert {\hat{x}}_i\Vert }^2$
$⩽{\Vert {\hat{w}}_{k-1}\Vert }^2+{\eta }^2{\Vert {\hat{x}}_i\Vert }^2$
$⩽{\Vert {\hat{w}}_{k-1}\Vert }^2+{\eta }^2{R}^2$
$⩽{\Vert {\hat{w}}_{k-2}\Vert }^2+2{\eta }^2{R}^2$
$⩽\cdots ⩽k{\eta }^2{R}^2$
不等式①②证毕。由两式联立可得：$$k\eta \gamma ⩽{\hat{w}}_k\cdot {\hat{w}}_{opt}⩽\Vert {\hat{w}}_k\Vert \Vert {\hat{w}}_{opt}\Vert ⩽\sqrt{k}\eta R$$，于是有$k⩽(\frac{R}{\gamma }{)}^2$，到此，定理(2)证明完毕。
整个过程证明了，对于线性可分的训练数据集，误分类的次数k是由上界的，即经过有限次搜索可以找到将训练数据完全正确分开的分离超平面，感知机学习算法原始形式迭代是收敛的。但过程会存在多解的情况，针对多解情况下的讨论，增加约束条件后，为后面将要讲述的线性支持向量机奠定了模型基础。当训练集线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡。

四、感知机学习算法的对偶形式

与感知机学习算法的原始形式不一样的是，感知机学习算法对偶形式下把感知机模型看作是实例$x_i$和标记$y_i$的线性组合形式。通过更新各个实例点下在误分类情况下的更新次数和标记结果，直到所有实例点都被模型正确分类。以下是感知机学习算法的对偶形式，
输入：线性可分的数据集 T = { ( x 1 , y 1 ) , ( x 1 , y 1 ) , ⋅ ⋅ ⋅ , ( x N , y N ) } T=\left\{(x_{1},y_{1}),(x_{1},y_{1}),\cdot \cdot \cdot ,(x_{N},y_{N})\right\} T={(x1​,y1​),(x1​,y1​),⋅⋅⋅,(xN​,yN​)}，其中 x i ∈ R n , y i ∈ { + 1 , − 1 } , i = 1 , 2 , ⋅ ⋅ ⋅ , N x_{i}\in R^{n},y_{i}\in\left \{ +1,-1 \right \},i=1,2,\cdot \cdot \cdot ,N xi​∈Rn,yi​∈{+1,−1},i=1,2,⋅⋅⋅,N；学习率$\eta (0<\eta ⩽1);$
输出：$\alpha ,b$；感知机模型$f(x)=sign({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)$，其中$\alpha =({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N{)}^T$。
(1)$\alpha \leftarrow 0,b\leftarrow 0$；
(2)在训练集中选取数据$(x_i,y_i)$；
(3)如果$y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)⩽0$，
${\alpha }_i\leftarrow {\alpha }_i+\eta$
$b\leftarrow b+\eta y_i$
(4)转至(2)直到没有误分类数据。

五、总结

通过感知机学习不难发现，感知机适用于二类分类问题；模型特点是分离超平面；属于判别类型；学习策略(学习的损失函数)是极小化误分点到超平面距离；学习算法是随机梯度下降法。

参考文献

[1]李航.统计学习方法(第2版)[M].北京：清华大学出版社，2019.11.