第二章 感知机

感知机学习日志
感知机———二类分类的线性分类模型

一、定义感知机
假设输入空间 （特征空间）是$\mathcal{X}\subseteq {\mathbf{R}}^n$，输出空间是 Y = { + 1 , − 1 } \mathcal{Y}=\{+1,-1\} Y={+1,−1}，输入$x\in \mathcal{X}$表示实例的特征向量，对应于输入空间（特征空间）的点；输出$y\in \mathcal{Y}$表示实例的类别，由输入空间到输出空间的如下函数$$f(x)=\mathrm{sign}(w\cdot x+b)$$称为感知机.其中，$w$和$b$为感知机模型参数，$w\in {\mathbf{R}}^n$叫作权值(weight)或权值向量（weight vector），$b\in \mathbf{R}$叫作偏置（bias），$w\cdot x$表示$w$和$x$的内积.
二、感知机几何解释：
线性方程$$w\cdot x+b=0$$对应于特征空间$R^n$中的一个超平面，其中$w$是超平面的法向量，$b$是超平面的截距，这个超平面将特征空间划分为两个部分，位于两部分的点（特征向量）分别被分为正、负两类。因此，$S$超平面称为分离超平面(separating hyperplane)
三、感知机学习策略
假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。为了找出这样的超平面，即确定感知机模型参数$w$,$b$，需要确定一个学习策略，即定义（经验）损失函数并将损失函数极小化。
损失函数的一个选择是误分类点的总数，但是这样的损失函数不是参数$w$,$b$的连续可导函数，不易优化。
损失函数的另一个选择是误分类点到超平面$S$的总距离，这是感知器所采用的。
输入空间${\mathbf{R}}^n$中任一点$x_0$到超平面$S$的距离$$\frac{1}{\Vert w\Vert }\left|w\cdot x_0+b\right|$$其中，$\Vert w\Vert$是$w$的$L_2$范数
对于误分类数据$(x_i,y_i)$,有$-y_i\left(w\cdot x_i+b\right)>0$成立， 当$w\cdot x_i+b>0$时，$y_i=-1$
因此，误分类点$x_i$到超平面$S$的距离是$$-\frac{1}{\Vert w\Vert }{y}_i\left(w\cdot x_i+b\right)$$假设超平面$S$的误分类点集合为$M$，那么所有误分类点到超平面的总距离为$$-\frac{1}{\Vert w\Vert }\sum _{x_i\in M}{y}_i\left(w\cdot x_i+b\right)$$不考虑$\frac{1}{\Vert w\Vert }$，就得到感知机$\mathrm{sign}(w\cdot x+b)$学习的损失函数：$$L(w,b)=-\sum _{x_i\in M}{y}_i\left(w\cdot x_i+b\right)$$这个损失函数就是感知机学习的经验风险函数。

感知机学习问题转化为求解损失函数的最优化问题，最优化的方法是随机梯度下降法。

感知机算法是对一下最优化问题的算法。给定一个训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}其中， x i ∈ X = R n , y i ∈ Y = { − 1 , 1 } , i = 1 , 2 , ⋯   , N x_{i} \in \mathcal{X}=\mathbf{R}^{n}, \quad y_{i} \in \mathcal{Y}=\{-1,1\}, \quad i=1,2, \cdots, N xi​∈X=Rn,yi​∈Y={−1,1},i=1,2,⋯,N，求参数$w,b$，使其为以下损失函数极小化问题的解$$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i\left(w\cdot x_i+b\right)$$其中$M$为误分类点的集合
感知机学习算法是误分类驱动的，具体采用随机梯度下降法(stochastic gradient descent),首先，任意选取一个超平面$w_0,b_0$,然后用梯度下降法不断地极小化目标函数，极小化的过程不是一次使$M$中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。
假设误分类点集合$M$是固定的，那么损失函数$L(w,b)$的梯度由$${\nabla }_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i$$$${\nabla }_{b}L(w,b)=-\sum _{x_i\in M}{y}_i$$给出.
随机选取一个误分类点$(x_i,y_i)$,对进行更新：$$w\leftarrow w+\eta y_i{x}_i$$$$b\leftarrow b+\eta y_i$$式中$\eta (0<\eta ⩽1)$是步长，在统计学习中又称为学习率(learning rate)，这样，通过迭代可以期待损失函数$L(w,b)$不断减小。综上所述，得到如下算法：
感知机学习算法的原始形式
输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ &ThinSpace; , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , ⋯ &ThinSpace; , N x_{i} \in \mathcal{X}=\mathbf{R}^{n}, y_{i} \in \mathcal{Y}=\{-1,+1\}, \quad i=1,2, \cdots, N xi​∈X=Rn,yi​∈Y={−1,+1},i=1,2,⋯,N；学习率$\eta (0<\eta ⩽1)$
输出：$w,b$；感知器模型$f(x)=\mathrm{sign}(w\cdot x+b)$
$(1)$选取初值$w_0,b_0$
$(2)$在训练集中选取数据$(x_i,y_i)$
$(3)$ 如果$y_i\left(w\cdot x_i+b\right)⩽0$
$$w\leftarrow w+\eta y_i{x}_i$$$$b\leftarrow b+\eta y_i$$$(4)$转至$(2)$，直至训练集中没有误分类
这种学习算法直观上有如下解释：当一个实例点被误分类，即位于分离超平面的错误一侧时，则调整$w,b$的值，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面间的距离，直至超平面越过该误分类点使其被正确分类。

四、算法的收敛性
为了便于叙述与推导
记$\hat{\mathbf{w}}={\left(w^{\mathrm{T}},b\right)}^{\mathrm{T}}$ ，$\hat{x}={\left(x^{\mathrm{T}},1\right)}^{\mathrm{T}}$，这样$\hat{x}\in {\mathbf{R}}^{n+1},\hat{w}\in {\mathbf{R}}^{n+1}$，显然$\hat{\mathbf{w}}\cdot \hat{\mathbf{x}}=w\cdot x+b$，
定理（Novikoff）设训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ &ThinSpace; , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}是线性可分的，其中 x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , ⋯ &ThinSpace; , N x_{i} \in \mathcal{X}=\mathbf{R}^{n}, \quad y_{i} \in \mathcal{Y}=\{-1,+1\}, \quad i=1,2, \cdots, N xi​∈X=Rn,yi​∈Y={−1,+1},i=1,2,⋯,N,则
$(1)$存在满足条件$\Vert {\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\Vert =1$的超平面${\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot \hat{x}=w_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot x+b_{\mathrm{o}\mathrm{p}\mathrm{t}}=0$将训练数据集完全正确分开；且存在$\gamma >0$，对所有$i=1,2,\cdots ,N$
$$y_i\left({\hat{w}}_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot {\hat{x}}_i\right)=y_i\left(w_{\mathrm{o}\mathrm{p}\mathrm{t}}\cdot x_i+b_{\mathrm{o}\mathrm{p}\mathrm{t}}\right)⩾\gamma (1)$$ $(2)$令$R={\max }_{1⩽i⩽N}\Vert {\hat{x}}_i\Vert$，则感知机算法在训练数据集上的误分类次数$k$满足不等式
$$k⩽{\left(\frac{R}{\gamma }\right)}^2(2)$$
证明：参考《统计学习方法》
定理表明，误分类的次数$k$是有上界的，经过有限次搜索可以找到将训练数据完全正确分开的分离超平面。当训练数据集线性可分时，感知机学习算法原始形式迭代是收敛的。
感知机学习算法存在许多解，这些解既依赖初值的选择，也依赖于迭代过程中误分类点的选择顺序，为了得到唯一的超平面，需要对分离超平面增加约束条件。

五、感知机学习算法的对偶形式
对偶形式的基本想法是，将$w$和$b$表示为实例$x_i$和$y_i$标记的线性组合形式，通过求解其系数而求得$w$和$b$，假设初始值$w_0,b_0$均为$0$，对误分类点$(x_i,y_i)$通过$$w\leftarrow w+\eta y_i{x}_i$$$$b\leftarrow b+\eta y_i$$
逐步修改$w$和$b$，设修改$n$次，则$w,b$关于$(x_i,y_i)$的增量分别是${\alpha }_i{y}_i{x}_i$和${\alpha }_i{y}_i$，这里${\alpha }_i=n_i\eta$。这样最后学习得到的$w,b$可以分别表示为$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$$$b=\sum _{i=1}^N{\alpha }_i{y}_i$$这里，${\alpha }_i⩾0,i=1,2,\cdots ,N$，当$\eta =1$时，表示第$i$个实例点由于误分而进行更新的次数。实例点更新次数越多，意味着它距离分离超平面越近，也就越难正确分类。这样的实例对学习结果的影响最大。
算法（感知机学习算法的对偶形式）
输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ &ThinSpace; , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , ⋯ &ThinSpace; , N x_{i} \in \mathcal{X}=\mathbf{R}^{n}, y_{i} \in \mathcal{Y}=\{-1,+1\}, \quad i=1,2, \cdots, N xi​∈X=Rn,yi​∈Y={−1,+1},i=1,2,⋯,N；学习率$\eta (0<\eta ⩽1)$
输出：$\alpha ,b$；感知机模型$f(x)=\mathrm{sign}\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b\right)$其中$\alpha ={\left({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N\right)}^{\mathrm{T}}$
$(1)$ $$\alpha \leftarrow 0,b\leftarrow 0$$
$(2)$ 在训练数据集中选取数据$\left(x_i,y_i\right)$
$(3)$ 如果$y_i\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b\right)⩽0$ $${\alpha }_i\leftarrow {\alpha }_i+\eta$$ $$b\leftarrow b+\eta y_i$$
$(4)$转至$(2)$直到没有误分类数据。

《统计学习方法》李航