感知机

感知机介绍

感知机是一种线性二分类器。与一般的模型一样，具有输入$T=(x_1,y_1),...,(x_N,y_N)$（其中，$(x_i,y_i)$是一个样本）、输出w、b，输入到输出的函数为$f(x_i)=sign(w\cdot x_i+b)$。其中，$f(x_i)$取值范围为 { − 1 , + 1 } \{-1, +1\} {−1,+1}。根据这样的输入输出，统计错误分类的样本数。但是错误分类的样本数对于w和b而言是不可导的，如果要使用梯度下降算法进行优化，那么根据错误分类的样本数来进行损失函数的设计会导致该问题不可优化。所以，改用错误分类样本到分离超平面的距离来进行损失函数的设计(分离超平面为$w\cdot x+b=0$)。

错误分类样本到超平面的距离

假设$(x_0,y_0)$为错误分类的样本，根据点到平面的距离，则错误分类样本到超平面的距离为：$$d=\frac{-y_i(w\cdot x_i+b)}{||w||}$$
其中，$||w||$是L2范数。由于在优化过程中，$||w||$是一个可学习的参数，故可省略。

损失函数的定义

假设错误分类样本数为m，则损失函数可以定义为所有错误分类样本数到超平面距离的和。
$$Loss=-\sum _{i\in m}^N{y}_i(w\cdot x_i+b)$$
由此可知，当有错误分类时，Loss为非负值。对于单个样本而言，正确分类样本不计入Loss中，所以Loss为0。

收敛性证明

假设有k个错误分类样本，已经证明，k的取值是有限的($k\le (\frac{R}{\gamma }{)}^2$)。所以，经过有限步的优化后，可以使得错误分类样本数为0。

感知机算法

1. 输入$T = {(x_0, y_0), …, (x_N, y_N)},设$0<\eta \le 1$$；
2. 输出w, b.
3. 初始化w、b;
4. 在训练集中随机选取样本$(x_i,y_i)$
5. 判断为错误分类条件：$y_i(w\cdot x_i+b)\le 0$，则：
   $$w\leftarrow w+\eta y_i\cdot x_i$$$$b\leftarrow b+\eta y_i$$
6. 转到4

感知机算法的对偶形式

原始感知机算法是通过对w、b求导，进行梯度优化的。设w = 0,b=0，则最终有$$w=\sum _{i=1}^N{a}_i{y}_i{x}_i$$$$b=\sum _{i=1}^N{a}_i{y}_i$$
其中，$a_i=n_i\eta$
从而，可以根据感知机算法的原始形式来写出感知机算法的对偶形式。

1. $a\leftarrow 0，b\leftarrow 0$
2. 在训练集中选取数据$(x_i,y_i)$
3. 如果$y_i({\sum }_{j=1}^N{a}_j{y}_j{x}_j\cdot x_i+b)\le 0$，则：$$a_i\leftarrow a_i+\eta$$$$b\leftarrow b+\eta y_i$$
4. 转至2直到没有误分类数据。
   其中，$x_i{x}_j$需要一直用到，所以可以将其矩阵化，设$G=[x_i\cdot x_j{]}_{N\times N}$，该矩阵即为所谓的Gram matrix。