统计学习方法 - 第二章 - 感知机

第二章 感知机

2.1 感知机模型

感知机算法在输入空间内找到一个超平面$S$：
$$w\cdot x+b=\hat{w}\cdot \hat{x}=0$$
由函数：
$$f(x)=sign(\hat{w}\cdot \hat{x})$$
给出样本的标签。其中$\hat{w}=(w,b)$, $\hat{b}=(x,1)$。

2.2 感知机学习策略

感知机的损失函数由误分类点到超平面$S$的距离给出。空间内任意一点$x_0$到超平面$S$的距离可以由以下公式给出：
$$\frac{1}{||w||}|w\cdot x_0+b|$$
显然可得，对于任意误分类样本$(x_i,y_i)$有：
$$-y_i(w\cdot x_i+b)>0$$
那么对于感知机模型，其误分类点集合为$M$，所有误分类点到超平面的距离的和为：
$$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(\hat{w}\cdot {\hat{b}}_i)$$
省略$\frac{1}{||w||}$，得到感知机的损失函数：
$$L(w,b)=-\sum _{x_i\in M}{y}_i(\hat{w}\cdot {\hat{x}}_i)$$
损失函数的物理意义为各个误分类点到超平面的距离一定比例之和。

2.3 感知机学习算法

损失函数相对于权值和偏置的梯度（偏导数）为：
$$\begin{array}{c}{\nabla }_{w}L(w,b)=-{\sum }_{x_i\in M}{y}_i{x}_i\\ {\nabla }_{b}L(w,b)=-{\sum }_{x_i\in M}{y}_i\end{array}$$
使用SGD对感知机进行优化，随机选取一个误分类$(x_i,y_i)$，对$w,b$进行优化：
$$\begin{array}{c}w\leftarrow w+\eta y_i{x}_i\\ b\leftarrow b+\eta y_i\end{array}$$
感知机算法的性质：

非负性：

假设数据集完全线性可分，那么一定有：
$$y_i({\hat{w}}_{opt}\cdot x_i)\ge \gamma$$
即任意点到超平面的距离为正。

有限性：

令$R={\max }_{1\le i\le N}||{\hat{x}}_i||$，则感知机算法（从$\hat{w}=0$出开始）在训练数据集上的误分类次数$k$满足：
$$k\le {\left(\frac{R}{\gamma }\right)}^2$$
假设对第$k$个误分类点更新权重为：
$${\hat{w}}_k={\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i$$
那么：
$$\begin{array}{ccc}{\hat{w}}_k\cdot {\hat{w}}_{opt}& =& {\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta y_i{\hat{w}}_{opt}{\hat{x}}_i\\ & \ge & {\hat{w}}_{k-1}\cdot {\hat{w}}_{opt}+\eta \gamma \\ & \ge & {\hat{w}}_{k-2}\cdot {\hat{w}}_{opt}+2\eta \gamma \\ & \ge & k\eta \gamma \end{array}$$
将${\hat{w}}_k={\hat{w}}_{k-1}+\eta y_i{\hat{x}}_i$变形：
$$\begin{array}{ccc}||{\hat{w}}_k|{|}^2& =& ||{\hat{w}}_{k-1}|{|}^2+2\eta y_i{\hat{w}}_{k-1}\cdot {\hat{x}}_i+{\eta }^2||{\hat{x}}_i|{|}^2\\ & \le & ||{\hat{w}}_{k-1}|{|}^2+{\eta }^2||{\hat{x}}_i|{|}^2\\ & \le & ||{\hat{w}}_{k-1}|{|}^2+{\eta }^2{R}^2\\ & \le & ||{\hat{w}}_{k-2}|{|}^2+2{\eta }^2{R}^2\le \cdots \\ & \le & k{\eta }^2{R}^2\end{array}$$
得到：
$$k\eta \gamma \le {\hat{w}}_k\cdot {\hat{w}}_{opt}\le ||{\hat{w}}_k||||{\hat{w}}_{opt}||$$
显然可使向量${\hat{w}}_{opt}$满足$||{\hat{w}}_{opt}||=1$，有：
$$\begin{gathered} h\eta \gamma \le \sqrt{k}\eta R \\ {k}^2{\gamma }^2\le k{R}_2 \end{gathered}$$
得证：
$$k\le {\left(\frac{R}{\gamma }\right)}^2$$
对偶形式：对偶形式的基本想法是，将$w$和$b$表示为实例$x_i$和标记$y_i$的线性组合的形式，通过求解其系数而求得$w$和$b$。

令感知机模型为：
$$f(x)=sign(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)$$
其中$\alpha =({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N{)}^T$.

1. $\alpha \leftarrow 0,b\leftarrow 0$

2. 在训练集中选取数据$(x_i,y_i)$

3. 如果$y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)\ge 0$:
   $$\begin{gathered} {\alpha }_i\leftarrow {\alpha }_i+\eta \\ b\leftarrow b+\eta y_i \end{gathered}$$

4. 转至2直至无误分类数据。

最后得到的系数为：
$$\begin{gathered} w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ b=\sum _{i=1}^N{\alpha }_i{y}_i \end{gathered}$$

个人觉得感知机的对偶形式并没有提出什么新颖的东西。首先更新过程和原始形式几乎完全一样，并不能直接通过矩阵计算求得最后的权值；其次并没有抛弃掉权值向量$w$和$b$，只不过使用了$\alpha$向量用以间接计算感知机模型的权值。