机器学习笔记——感知机和统计学习方法(二)

感知机和统计学习方法

感知机

1、输入为实例的特征向量，输出为实例的类别，取+1和-1；
2、感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别模型；
3、导入基于误分类的损失函数；
4、利用梯度下降法对损失函数进行极小化；
感知机学习算法具有简单而易于实现的优点，分为原始形式和对偶形式；1957年由Rosenblatt提出，是神经网络与支持向量机的基础。

定义(感知机):

假设输入空间(特征空间)是 $X\subseteq R^n$,输出空间是 y = { + 1 , − 1 } y=\{+1,-1\} y={+1,−1}.
输入$x\in X$表示实例的特征向量，对应于输入空间（特征空间）的点，输出$y\in Y$表示实例的类别，由输入空间到输出空间的函数：
$$f(x)=sign(w\bullet x+b)$$
称为感知机。模型参数：w x，内积，权值向量，偏置，符号函数：
$$sign(x)=\{\begin{array}{l}+1,x\ge 0\\ 1,x<0\end{array}$$

感知机几何解释：

线性方程：$w\bullet x+b=0$
对应于超平面S，w为法向量，b截距，分离正、负类：
分离超平面：

感知机学习策略

如何定义损失函数？
自然选择：误分类点的数目，但损失函数不是w,b 连续可导，不宜优化。
另一选择：误分类点到超平面的总距离：
距离：
$$\frac{1}{||w||}|w\bullet x_0+b|$$
误分类点:当$x\ge 0$时，$y=-1$,当$x<0$时，$y=1$.
$$-y_i(w\bullet x_i+b)>0$$
误分类点距离：
$$-\frac{1}{||w||}{y}_i(w\bullet x_i+b)$$
总距离：
$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w\bullet x_i+b)$$
损失函数：
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\bullet x_i+b)$$
其中M为误分类点的数目。

感知机学习算法

求解最优化问题：
$$mi{n}_{w,b}L(w,b)=-\sum _{x_i\in M}{y}_i(w\bullet x_i+b)$$
随机梯度下降法，
首先任意选择一个超平面，w，b，然后不断极小化目标函数,损失函数L的梯度：
$${▽}_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i$$
$${▽}_{b}L(w,b)=-\sum _{x_i\in M}{y}_i$$
选取误分类点更新：
$$w\leftarrow w+\eta y_i{x}_i$$
$$b\leftarrow b+\eta y_i$$

感知机学习算法的原始形式：

输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N})\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},其中$x_i\in Xn=R^n,y_i\in Y=+1,-1,i=1,2,3,...,N$学习率$\eta (0<\eta \le 1)$;
输出：w,b;感知机模型$f(x)=sign(w\bullet x+b)$
(1) 选取初始值$w_0,b_0$
(2)在训练集中选取数据$(x_i,y_i)$
(3)如果$y_i(w\bullet x+b)\le 0$,$w\leftarrow w+\eta y_i{x}_i$ $b\leftarrow b+\eta y_i$
(4) 专职(2),直到训练集中没有误分类点。
例：正例：$x_1=(3,3{)}^T$ 负例：$x_3=(1,1{)}^T$

解：构建优化问题: $$mi{n}_{w,b}L(w,b)=-\sum _{x_i\in M}{y}_i(w\bullet x_i+b)$$
求解：w,b,$\eta =1$
(1) 取出值$w_0,b_0=0$
(2) 对$x_1=(3,3{)}^T,y_1(w_0\bullet x_1+b_0=0)$,未能被正确分类，更新w,b $$w_1=w_0+y_1{x}_1=(3,3{)}^T,b_1=b_0+y_1=1$$
得线性模型：$w_1\bullet x+b_1=3x^{(1)}+3x^{(2)}+1$
(3)$x_2$,显然，$y_1(w_1\bullet x_i+b_1)>0$,被正确分类，对$x_3=(1,1{)}^T,y_3(w_1\bullet x_3+b_1)<0$,被错误分类，
$$w_2=w+1+y_3{x}_3=(2,2{)}^T,b_2=b_1+y_3=0$$
得到线性模型：$w_2\bullet x+b_2=2x^{(1)}+2x^2$
如此继续下去：$w_7=(1,1{)}^T,b_7=-3$,
$$w_7\bullet x+b_7=x^{(1)}+x^{(2)}-3$$
分离超平面：$x^{(1)}+x^{(2)}-3=0$
感知机模型：$f(x)=sign(x^{(1)}+x^{(2)}-3)$

算法的收敛性：证明经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。
将b并入权重向量w，记作：$\hat{w}=(w^T,b{)}^T$
$$\hat{x}=(x^T,1{)}^T,\hat{x}\in R^{n+1},\hat{w}\in R^{n+1},\hat{w}\hat{x}=w\bullet x+b$$
定理：
设训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N})\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}是线性的,可分离的，其中 x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , . . . , N x_{i} \in X=R^n,y_{i} \in Y = \{-1,+1\},i=1,2,...,N xi​∈X=Rn,yi​∈Y={−1,+1},i=1,2,...,N
则
(1)存在满足条件$||{\hat{w}}_{opt}||=1$的超平面${\hat{w}}_{opt}\bullet \hat{x}=w_{opt}\bullet x+b_{opt}=0$,且存在$\gamma >0$,对所有$i=1,2,3,...,N$,$y_i({\hat{w}}_{opt}\bullet {\hat{x}}_i)=y_i(w_{opt}\bullet x+b_{opt})\ge \gamma$
证明:
由线性可分, 存在超平面：${\hat{w}}_{opt}\bullet \hat{x}=w_{opt}\bullet x+b_{opt}=0$
使$||{\hat{w}}_{opt}||=1$，由有限的点，均有：
$$y_i({\hat{w}}_{opt}\bullet {\hat{x}}_i)=y_i(w_{opt}\bullet x+b_{opt})>0$$
存在：
γ = m i n i { y i ( w o p t ∙ x + b o p t ) } \gamma = min_{i}\{y_{i}(w_{opt} \bullet x +b_{opt})\} γ=mini​{yi​(wopt​∙x+bopt​)}
使：$$y_i({\hat{w}}_{opt}\bullet {\hat{x}}_i)=y_i(w_{opt}\bullet x+b_{opt})\ge \gamma$$
(2) 令$R={\max }_{1\le i\le N}$,算法在训练集的误分类次数K满足不等式,$k\le {\left(\begin{array}{c}\frac{R}{\gamma }\end{array}\right)}^2$
证明：令${\hat{w}}_{k-1}$,是第K个误分类实例之前的扩充权值向量，即：
$${\hat{w}}_{k-1}=(w_{k-1}^T,b_{k-1}{)}^T$$
第K个误分类实例的条件是： $y_i({\hat{w}}_{k-1}\bullet {\hat{x}}_i)=y_i(w_{k-1}\bullet x_i+b_{k-1})\le 0$
则w和b的更新：
$$w_k\leftarrow w_{k-1}+\eta y_i{x}_i$$
$$b_k\leftarrow b_{k-1}+\eta y_i$$
即：
$${\hat{w}}_k={\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i$$
推倒两个不等式：
(1)${\hat{w}}_k\bullet {\hat{w}}_{opt}\ge k\eta \gamma$
由：${\hat{w}}_k\bullet {\hat{w}}_{opt}={\hat{w}}_{k-1}\bullet {\hat{w}}_{opt}+\eta y_i{\hat{w}}_{opt}\bullet {\hat{x}}_i\ge {\hat{w}}_{k-1}\bullet {\hat{w}}_{opt}+\eta \gamma$
得：${\hat{w}}_k\bullet {\hat{w}}_{opt}\ge {\hat{w}}_{k-1}\bullet {\hat{w}}_{opt}+\eta \gamma \ge {\hat{w}}_{k-2}\bullet {\hat{w}}_{opt}+2\eta \gamma \ge ...\ge k\eta \gamma$
(2)$||{\hat{w}}_k|{|}^2\le k{\eta }^2{R}^2$
则：$||{\hat{w}}_k|{|}^2=(||w_{k-1}+\eta y_i{x}_i||{)}^2=||{\hat{w}}_{k-1}^2||+2\eta y_i{\hat{w}}_{k-1}\bullet {\hat{x}}_i+{\eta }^2||{\hat{x}}_i|{|}^2$
$\le ||{\hat{w}}_{k-1}^2||+{\eta }^2||{\hat{x}}_i|{|}^2$
$\le ||{\hat{w}}_{k-1}^2||+{\eta }^2{R}^2$
$\le ||{\hat{w}}_{k-2}^2||+2{\eta }^2{R}^2\le ...$
$\le k{\eta }^2{R}^2$
结合两个不等式:
(1)$k\eta \gamma \le {\hat{w}}_k\bullet {\hat{w}}_{opt}\le ||{\hat{w}}_k||||{\hat{w}}_{opt}||\le \sqrt{k}\eta \mathbb{R}$
$$k^2{\gamma }^2\le k{R}^2$$
得：$$k\le {\left(\begin{array}{c}\frac{R}{\gamma }\end{array}\right)}^2$$
定理表明：

• 误分类的次数k是有上界的，当训练数据集线性可分时，感知机学习算法原始形式迭代是收敛的。
• 感知机算法存在许多解，既依赖于初值，也依赖迭代过程中误分类点的选择顺序。
• 为得到唯一分离超平面，需要增加约束，如SVM。
• 线性不可分数据集，迭代震荡。

感知机算法的对偶形式：
基本想法：将w和b表示为实例xi和标记yi的线性组会的形式，通过求解其系数而求得w和b，对误分类点：
$$w\leftarrow w+\eta y_i{x}_i,b\leftarrow b+\eta y_i$$
最后学习到$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i),b=\sum _{i=1}^N{\alpha }_i{y}_i$$
感知机学习算法的对偶形式：
输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N})\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},其中$x_i\in Xn=R^n,y_i\in Y=+1,-1,i=1,2,3,...,N$学习率$\eta (0<\eta \le 1)$;
输出：$\alpha$,b;感知机模型$f(x)=sign\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\bullet x+b\right)$,其中$\alpha =({\alpha }_1,{\alpha }_2,...,,{\alpha }_N{)}^T$
(1) $\alpha \leftarrow 0,b\leftarrow 0$
(2) 在训练集中的选取数据$(x_i,y_i)$
(3) 如果$y_i\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\right)\le 0$
$${\alpha }_i\leftarrow {\alpha }_i+\eta ,b\leftarrow b+\eta y_i$$
(4) 转至(2)直到没有误分类数据.
例：正样本点是$x_i=(3,3{)}^T,x_2=(4,3{)}^T,负样本点是x_3=(1,1{)}^T$
解：
(1)取${\alpha }_i=0,i=1,2,3,b=0,\eta =1$
(2)计算Gram矩阵
$$G=\left[\begin{array}{ccc}18& 21& 6\\ 21& 25& 7\\ 6& 7& 2\end{array}\right]$$
(3)误分条件$y_i\left({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\bullet x_j+b\right)\le 0$
参数更新
$${\alpha }_i\leftarrow {\alpha }_i+1,b\leftarrow b+y_i$$
(4)迭代。

(5) $w=2x_1+0x_2-5x_3=(1,1{)}^T,b=-3$
分离超平面 $x^{(1)}+x^{(2)}-3=0$
感知机模型 $f(x)=sign(x^{(1)}+x^{(2)}-3)$