感知机算法

感知机是一个二分类的线性分类模型

假设输入空间（特征空间）是$\mathcal{X}\subseteq R^n$，输出空间是 Y = { + 1 , − 1 } \mathcal{Y}=\{+1,-1\} Y={+1,−1}，定义函数$f(x)$输入到输出空间的映射:
$$f(x)=sign(w\cdot x+b)$$
其中，$w,b$为模型参数，$sign(x)=\{\begin{array}{l}1,x\ge 0\\ -1,x<0\end{array}$，属于判别模型

几何解释：
线性方程$w\cdot x+b=0$对应特征空间$R^n$中的一个超平面$S$、，其中$w$表示超平面的法向量，$b$表示超平面的截距，$S$将特征空间划分为两部分，位于两部分的点分别为正、负样本

数据集的线性可分：
给定数据集$T=\{(x_1,y_1),\cdots ,(x_N,y_N)\}$，如果存在一个线性超平面$S$：$w\cdot x+b=0$能够将数据集的正负样本完全正确地划分到超平面的两侧，即
$$\{\begin{array}{l}\forall y_i=1,w\cdot x+b>0\\ \forall y_i=-1,w\cdot x+b<0\end{array}$$
则称数据集$T$是线性可分的，否则为线性不可分。

感知机的基本思想：
假设数据集是线性可分的，在特征空间中求得能够将训练集正负样本完全正确分开的最优超平面$S$

如何求解$S$，即求解模型参数$w,b$：
定义（经验）损失函数，并最小化损失函数：
$$\underset{w,b}{\min }\sum _{x_i\in M}L(y_i,f(x_i))$$
$M$表示误分点集合
当正样本被误分时，$y_i=+1,w\cdot x_i+b<0$;
当负样本被误分时，$y_i=-1,w\cdot x_i+b>0$;
则误分类样本点到超平面$S$的距离为：
$-y_i\frac{(w\cdot x_i+b)}{\Vert w\Vert }$，不考虑$\frac{1}{\Vert w\Vert }$时得到损失函数：
$$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$
显然$L(w,b)$非负，当样本分类正确时，$L(w,b)=0$，当误分点越少，且离超平面越近，则损失函数越小，$L$是$w,b$的连续可导函数。

感知机学习算法

采用随机梯度下降法对损失函数对优化，当误分点集合$M$固定时，损失函数的梯度为：
$$\begin{gathered} {\nabla }_{w}L(w,b)=-\sum _{x_i\in M}{x}_i{y}_i \\ {\nabla }_{b}L(w,b)=-\sum _{x_i\in M}{y}_i \end{gathered}$$
随机选择一个误分类点$(x_i,y_i)$，对$w,b$进行更新：
$$\begin{gathered} w\leftarrow w+\eta x_i{y}_i \\ b\leftarrow b+\eta y_i \end{gathered}$$
其中，$\eta (0<\eta \le 1)$为步长（学习率）

则原始形式:
input:$w,b$
model:$f(x)=sign(w\cdot x+b)$

1. 选取初值$w_0,b_0$
2. 在训练数据集中选取数据$(x_i,y_i)$
3. 如果$y_i(w\cdot x_i+b)\le 0$，则
   $$\begin{gathered} w\leftarrow w+\eta x_i{y}_i \\ b\leftarrow b+\eta y_i \end{gathered}$$

对偶形式

基本思想：将$w,b$表示为$x_i,y_i$的线性组合形式，通过求解其系数二求得$w,b$
通过误分类点$(x_i,y_i)$，对$w,b$进行更新：
$$\begin{gathered} w\leftarrow w+\eta x_i{y}_i \\ b\leftarrow b+\eta y_i \end{gathered}$$
逐步修改$w,b$，修改$n$次，则关于$(x_i,y_i)$的增量分别为${\alpha }_i{x}_i{y}_i,{\alpha }_i{y}_i$，其中${\alpha }_i=n_i\eta$，$n_i$表示点$(x_i,y_i)$被误分的次数，则最终学习到的$w,b$分别为：
$$w=\sum _{i=1}^N{\alpha }_i{x}_i{y}_i,b=\sum _{i=1}^N{\alpha }_i{y}_i$$
其中${\alpha }_i\ge 0,(i=0,1,\cdots ,N)$，当$\eta =1$时，表示第$i$个实例点由于误分而进行更新的次数。$n_i$越大，表明实例点更新次数越多，距离超平面越近，越难正确分类。
则对偶形式如下
input: $\alpha ,b$;
model:$f(x)=sign({\sum }_{i=1}^N{\alpha }_i{x}_i{y}_i\cdot x+b)$，其中$\alpha =({\alpha }_1,\cdots ,{\alpha }_N{)}^T$

1. $\alpha \leftarrow 0,b\leftarrow 0$
2. 在训练数据集中选取数据$(x_i,y_i)$
3. 如果$y_i({\sum }_{i=1}^N{\alpha }_i{x}_i{y}_i\cdot x+b)\le 0$，则
   $$\begin{gathered} {\alpha }_i\leftarrow {\alpha }_i+\eta \\ b\leftarrow b+\eta y_i \end{gathered}$$

算法的收敛性：

对于线性可分数据集，感知机算法是收敛的。感知机算法在训练数据集上误分次数$k$满足不等式
$$k\le (\frac{R}{\gamma }{)}^2$$
其中，$\gamma \ge 0,R=\underset{1\le i\le N}{\max }\Vert {\hat{x}}_i\Vert ,\hat{x}=(x^T,1{)}^T\in R^{n+1}$