Raki的统计学习方法笔记0x2章：感知机

感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和–1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法具有简单而易于实现的优点，分为原始形式和对偶形式。感知机预测是用学习得到的感知机模型对新的输入实例进行分类。感知机1957年由
Rosenblatt提出，是神经网络与支持向量机的基础。

模型

感知机定义：假设输入空间（特征空间）是 $\mathcal{X}\subseteq R^n$，输出空间是 $Y$＝ {+1,-1}。输入$x\in \mathcal{X}$表示实例的特征向量，对应于输入空间（特征空间）的点；输出 $y\subseteq \mathcal{Y}$ 表示实例的类别。由输入空间到输出空间的如下函数:

$$\begin{array}{rl}& \mathbf{f}(\mathbf{x})=\mathbf{s}\mathbf{i}\mathbf{g}\mathbf{n}(\mathbf{w}\cdot \mathbf{x}+\mathbf{b})\end{array}$$

感知机属于线性分类模型，属于判别模型

学习策略

给定一个数据集 $T=${($x_1,y_1$), ($x_2,y_2$)… ($x_n,y_n$)} 其中 $x_i\in \mathcal{X}=R^n,y_i\in \mathcal{Y}$ = {+1, -1},$i=1,2,...,N$,如果存在某个超平面$S:w\cdot x+b$ 能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，则称数据集$T$为线性可分数据集；否则，称数据集 $T$ 为线性不可分

损失函数的一个自然选择是误分类点的总数。但是，这样的损失函数不是参数 $\mathbf{w},\mathbf{b}$ 的连续可导函数，不易优化。损失函数的另一个选择是误分类点到超平面 $\mathbf{S}$ 的总距离，这是感知机所采用的。为此，首先写出输入空间 ${\mathbf{R}}_{\mathbf{n}}$ 中任一点 ${\mathbf{x}}_0$ 到超平面$\mathbf{S}$的距离：

$\frac{1}{\Vert w\Vert }|w\cdot x_0+b|$

假设超平面 $S$ 的误分类点集合为 $M$，那么所有错误分类点到超平面 $S$ 的总距离为：

$-\frac{1}{\Vert w\Vert }{\sum }_{x_i\in M}{y}_i|w\cdot x_0+b|$

不考虑 $\frac{1}{\Vert w\Vert }$ 就得到感知机学习的损失函数：$\mathbf{L}(\mathbf{w},\mathbf{b})=-{\sum }_{{\mathbf{x}}_{\mathbf{i}}\in \mathbf{M}}{\mathbf{y}}_{\mathbf{i}}(\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+\mathbf{b})$，这个损失函数就是感知机学习的经验风险函数

学习算法

输入：训练数据集 $T=${($x_1,y_1$), ($x_2,y_2$)… ($x_n,y_n$)}，其中 $x_i\in \mathcal{X}=R^n,y_i\in \mathcal{Y}$ = {+1, -1},$i=1,2,...,N$，学习率 $\eta (0<\eta \le 1)$

输出：$w,b$；感知机模型$f(x)=sign(w\cdot x+b)$

（1）选取初值$w_0,b_0$
（2）在训练集中选取数据$(x_i,y_i)$
（3）如果 $y_i(w\cdot x_i+b)\le 0$：
$$\begin{array}{rlr}& w\leftarrow w+\eta y_i{x}_i& \\ & b\leftarrow b+\eta y_i& \end{array}$$
（4）转至（2），直到训练集中没有误分类点

这种学习算法直观上有如下解释：当一个实例点被误分类，即位于分离超平面的错误一侧时，则调整$\mathbf{w},\mathbf{b}$ 的值，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面间的距离，直至超平面越过该误分类点使其被正确分类。

感知机学习算法的对偶形式

误分类点通过
$$\begin{array}{rlr}& w\leftarrow w+\eta y_i{x}_i& \\ & b\leftarrow b+\eta y_i& \end{array}$$

逐步修改 $w,b$，设修改 $n$ 次，则 $w,b$ 关于$(x_i,y_i)$的增量分别是 ${\alpha }_i{y}_i{x}_i$ 和 ${\alpha }_i{y}_i$,这里${\alpha }_i=n_i\eta$，这样从学习过程不难看出，最后学习到的w,b可以分别表示为

$$\begin{array}{rlr}& w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i& \\ & b=\sum _{i=1}^N{\alpha }_i{y}_i& \end{array}$$
然后我们就可以愉快的导出感知学习算法的对偶形式

输入：训练数据集 $T=${($x_1,y_1$), ($x_2,y_2$)… ($x_n,y_n$)}，其中 $x_i\in \mathcal{X}=R^n,y_i\in \mathcal{Y}$ = {+1, -1},$i=1,2,...,N$，学习率 $\eta (0<\eta \le 1)$

输出：$\alpha ,b$，感知机模型 $f(x)=sign({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)$，其中 $\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_N{)}^T$

（1）$a\leftarrow 0,b\leftarrow 0$
（2）在训练集中选取数据$(x_i,y_i)$
（3）如果 $y_i({\sum }_{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x+b)\le 0$, 则:
$$\begin{array}{rlr}& {\alpha }_i\leftarrow {\alpha }_i+\eta & \\ & b\leftarrow b+\eta y_i& \end{array}$$

（4）转至（2），直到训练集中没有误分类点

对偶形式中训练实例仅以内积的形式出现，为了方便，可以预先将训练集中实例间的内积计算出来并以矩阵的形式存储，这个矩阵就是所谓的Gram矩阵，$\mathbf{G}=[x_i\cdot x_j{]}_{N\times N}$

最后，当训练数据线性可分时，感知机学习算法是收敛的，误分类次数$k$满足不等式：
$$\begin{array}{r}k\le (\frac{R}{\gamma }{)}^2\end{array}$$