感知机 —— 原理

概念

感知机是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的分类，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。

感知机学习旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降对损失函数进行极小化，求得感知机模型。

感知机学习算法分为原始形式和对偶形式。

模型

定义：由输入空间到输出空间的函数：$f(x)=sign(w\cdot x+b)$，称为感知机；其中 $w$ 和 $b$ 为感知机模型的参数，$w\in {\mathbf{R}}^n$叫作权值（weight）或权值向量（weight vector），$b\in \mathbf{R}$叫作偏置（bias），$w\cdot x$表示内积，$sign$为符号函数，即
$$sign(x)=\{\begin{array}{ll}+1,& x\ge 0\\ -1,& x<0\end{array}$$

策略

数据集的线性可分性：这个是前提，也是选择感知机模型的必要条件；即存在摸个超平面$w\cdot x+b=0$能够将数据集的正、负实例点一分为二。

学习目标：感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全分开的分离超平面。

损失函数定义：$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$其中$M$为误分类点的集合。

损失函数$L(w,b)$ 是非负的，如果没有误分类点，损失函数值为0；误分类点越少，误分类点离超平面越近，损失值就越小。一个特定的样本点的损失函数：在误分类时是参数$w$，$b$的线性函数，在正确分类时是0。因此，给定训练数据集$T$，损失函数$L(w,b)$是$w$，$b$的连续可导函数

算法

1、原始形式

感知机学习算法是误分类驱动的，具体采用随机梯度下降法。

首先，任意选取一个超平面$w_0$，$b_0$，然后用梯度下降法不断地极小化目标函数（损失函数）。极小化过程中不是一次使$M$中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。
假设误分类点集合$M$是固定的，那么损失函数$L(w,b)$ 的梯度如下：$${\nabla }_{w}L(w,b)=-\sum _{x_i\in M}{y}_i{x}_i$$$${\nabla }_{b}L(w,b)=-\sum _{x_i\in M}{y}_i$$

随机选取一个误分类点$(x_i,y_i)$，对$L(w,b)$进行更新（取梯度下降的反向）：$$w\leftarrow w+\eta y_i{x}_i$$ $$b\leftarrow b+\eta y_i$$其中$\eta (0<\eta \le 1)$是步长，又称为学习率。

2、对偶形式

将$w$和$b$表示为实例$x_i$和标记$j_i$的线性组合的形式，通过求解其系数而求得$w$和$b$。

对误分类点$(x_i,y_i)$通过$$w\leftarrow w+\eta y_i{x}_i$$ $$b\leftarrow b+\eta y_i$$逐步修改$w$和$b$，设修改$n$次，则$w$和$b$关于$(x_i,y_i)$的增量分别是${\alpha }_i{y}_i{x}_i$和${\alpha }_i{y}_i$，这里${\alpha }_i=n_i\eta$。这样，从学习过程不难看出，最后学习到的$w$和$b$可以分别表示为$$w=\sum _{i=1}{\alpha }_i{y}_i{x}_i$$$$b=\sum _{i=1}{\alpha }_i{y}_i$$，其中${\alpha }_i\ge 0,i=1,2,3,\cdot \cdot \cdot N$时，当$\eta =1$时，表示第$i$个实例点由于误分而进行更新的次数。实例点更新次数越多，意味着它距离超平面越近，也就越正确分类。

对偶形式改写：

感知机模型：
$$f(x)=sign(w\cdot x+b)=sign(\sum _{j=1}{\alpha }_j{y}_j{x}_j\cdot x+b)$$
损失函数（误分类点）：
$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)=L(w,b)=-\sum _{x_i\in M}{y}_i(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)$$
误点区分：
$$y_i(w\cdot x_i+b)=y_i(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\cdot x_i+b)\le 0$$

转换为(内积矩阵)：
$$G=[x_i\cdot x_j{]}_{N\ast N}$$

推导

损失函数的由来：$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$

假设存在一个超平面$S:w\cdot x+b=0$能够将数据集的正、负实例点一分为二。为了找到这样的超平面，即确定感知机模型参数$w$和$b$，需要确定一个学习策略，即定义损失函数并将损失函数极小化。
损失函数的一个自然选择是误分类点的总数，但是这样的损失函数不是$w$和$b$的连续可到函数，不易优化；所以损失函数的另一个选择是误分类点到超平面$S$的总距离，这是感知机所采用的。

• 首先，点$(x_1,y_1,z_1)$到面$Ax+By+Cz+D=0$的距离公式：
  $$d=\frac{|A{x}_1+B{y}_1+C{z}_1+D|}{\sqrt{A^2+B^2+C^2}}$$
  $w\cdot x+b=0$也可以写成$[w^{(1)},w^{(2)},\cdot \cdot \cdot ,w^{(i)},\cdot \cdot \cdot ,w^{(n)}]\cdot [x^{(1)},x^{(2)},\cdot \cdot \cdot ,x^{(i)},\cdot \cdot \cdot ,x^{(n)}{]}^T+b=0$，即输入空间${\mathbf{R}}^n$（n维空间）上的超平面，其中任意一点都有n个维度。
  所以输入空间${\mathbf{R}}^n$中任意一点$x_0$到超平面$S$的距离：
  $$d=\frac{|w\cdot x_0+b|}{||w||}$$
  $||w||$是$w$的$L_2$的范数，即($w^{(i)}$指输入的一个维度)
  $$||w||=\sqrt{\sum _{i=1}^n(w^{(i)}{)}^2}$$

• 其次，因为当$w\cdot x_i+b>0$时，$y_i=-1$,而当当$w\cdot x_i+b<0$时，$y_i=+1$，所以对于误分类的数据$(x_i,y_i)$来说，$$-y_i(w\cdot x_i+b)>0$$
  故误分类的点$x_i$到超平面$S$的距离为
  $$d=-\frac{1}{||w||}{y}_i(w\cdot x_i+b)$$

• 然后，所有的误分类点加起来（$M$为误分类集合）：
  $$-\frac{1}{||w||}\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$

• 最后，不考虑$\frac{1}{||w||}$，就得到了感知机学习的损失函数：$$L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$