2-感知机学习算法

感知机（perceptron）是一个线性二分类模型，其目的是寻找一个超平面将正负示例划分开，属于判别模型，也是神经网络与SVM的基础。

感知机模型

假设输入空间为$\chi \subseteq R^n$，输出空间为$\Upsilon \subseteq \{+1,-1\}$。输入$x \in \chi$表示实例的特征向量，输出$y \in \Upsilon$表示实例的类别。则下面的函数

$$f(x)={\rm sign}(w \cdot x+b)$$
称为感知机，其中 $\rm sign$为符号函数， $w$为权值向量（weight vector），$b$为偏置（bias）。
令 $w \cdot x+b=0$，则所有的 $x$形成一个空间$\chi$上的超平面，将空间 $\chi$分为两个部分，对于满足 $w \cdot x+b \geq 0$的实例感知机输出 $+1$，反之则输出 $-1$。

感知机学习策略

考察空间$\chi$中任意一点$x_0$，其到超平面$w \cdot x + b = 0$的距离为1

$$\frac{1}{\Vert w \Vert} \vert w \cdot x_0 + b \vert$$
由于 $\Vert w \Vert$为常数，因此取损失函数为
$$L \left( w,b \right) = -\sum_{x_i \in M}y_i \left( w \cdot x_i + b \right)$$
其中 $M$为误分类点集合

学习算法

由于

$$\begin{split} \nabla_w L \left( w,b \right) &= -\sum \limits_{x_i \in M} y_i x_i \\ \nabla_bL \left( w,b \right) &= -\sum \limits_{x_i \in M} y_i \end{split}$$
因此从误分类点中任取一点 $\left( x_i, y_i \right)$得到感知机SGD的迭代公式
$$\begin{split} w &\leftarrow w + \eta y_i x_i \\ b &\leftarrow b + \eta y_i \end{split}$$

算法收敛性

给定线性可分数据集$T$,则

1. 存在满足条件$\Vert \hat{w}_{\rm opt} \Vert=1$的超平面$\hat{w}_{\rm opt} \cdot \hat{x}=w_{\rm opt}\cdot x + b_{\rm opt} = 0$将数据集完全分开；且存在$\gamma > 0$，对所有$i=1,2, \cdots , N$
   $$y_i \left( \hat{w}_{\rm opt} \cdot \hat{x}_i \right)=y_i \left( w_{\rm opt} \cdot x_i + b_{\rm opt} \right) \geq \gamma$$
   • 令$R=\max \limits_{1 \leq i \leq N } \Vert \hat{x}_i \Vert$，则感知机算法在训练集上的误分类次数$k$满足 $$k \leq \left( \frac{R}{\gamma} \right)^2$$

   • 对偶形式

     取初始值$w_0=b_0=0$，由SGD可得
     

     $$\begin{split} w &= \sum \limits_{i=1}^N n_i \eta y_i x_i = \sum \limits_{i=1}^N \alpha_i y_i x_i \\ b &= \sum \limits_{i=1}^N n_i \eta y_i = \sum \limits_{i=1}^N \alpha_i y_i \end{split}$$
     由此可得感知机的对偶形式：
     输入： $\alpha,b$；感知机模型 $f(x)={\rm sign} \left( \sum \limits_{j=1}^N\alpha_j y_j x_j \cdot x + b \right)$，其中 $\alpha = \left( \alpha_1, \alpha_2, \cdots, \alpha_N \right)^T$。
     1. $\alpha \leftarrow 0, b \leftarrow 0$
     2. 选取数据$(x_i,y_i)$
     3. 如果$y_i \left( \sum \limits_{j=1}^N\alpha_j y_j x_j \cdot x + b \right) \leq 0$ $$\begin{split} \alpha_i &\leftarrow \alpha_i+\eta\\ b &\leftarrow b+\eta y_i \end{split}$$
     4. 转至2直至没有误分类数据。

     与线性SVM的异同

     从分类原理上看，线性感知机与线性SVM原理似乎相同：二者均为二分类模型，都是在特征空间寻找一个超平面将正负两类样本区分开来。事实上，感知机作为神经网络算法的基础，与SVM确实存在很多相似之处。作为线性分类器，感知机与SVM的预测过程相同，均是利用学得的模型$f(x)={\rm sign}\left( w \cdot x + b \right)$进行分类，但是二者的学习过程存在差异。
     首先是损失函数，感知机一般将误分类点到超平面的距离之和作为损失函数，即

     $$L_{Perceptron}=-\sum_{x_i \in M}y_i \left( w \cdot x_i + b \right)$$
     在神经网络中也常用交叉熵（cross entropy）作为分类任务的损失函数。可以看到，感知机是要最小化所有误分类样本点到超平面之间的距离，而SVM则是最大化两个异类支持向量（即离超平面最近的点）到超平面的距离 $\frac{2}{\left \Vert w \right \Vert}$，或者说最小化其距离的倒数，即等价于
     $$\begin{split} &{\rm min} \quad &L_{SVM}=\frac{1}{2}\left \Vert w \right \Vert^2 \\ &{\rm s.t.} &y_i \left( w^T \cdot x + b \geq 1, \right) \quad i=1, 2, \cdots , m。 \end{split}$$
     另外，在学习的过程中，感知机的损失函数是非凸的，因此一般采用梯度下降类方法进行优化，而SVM的损失函数是凸函数，可以采用凸优化（如SMO）的方法进行优化。

     ---

     1. 过$x_0$向超平面$w\cdot x + b = 0$作垂线，设垂足为$x$，则有$x-x_0=kw(k \neq 0)$。则有
        $$w \cdot \left( x - x_0 \right) = w \cdot x + b - w \cdot x_0 -b$$
        注意到$w\cdot x + b = 0$，因此
        $$w \cdot \left( x - x_0 \right)=- w \cdot x_0 -b$$
        由于向量$w$与$x-x_0$平行，因此
        $$\left \vert w \cdot \left( x - x_0 \right) \right \vert=\left \Vert w \right \Vert \left \Vert x - x_0 \right \Vert$$
        因此
        $$\left \Vert x - x_0 \right \Vert = \frac{1}{\left \Vert w \right \Vert}\left \vert w \cdot x_0 + b \right \vert$$ ↩