机器学习—感知机

感知机是一种简单的二类分类的线性分类模型，用于处理可以线性可分的二分类问题。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。

感知机模型

1. 模型。从输入空间到输出空间有如下函数
   $$f(x)=sign(w^Tx+b)$$
   其中$w$为权值，$b$为偏执。生成的超平面为
   $$w^Tx+b = 0$$
   其中$w$为超平面的法向量，$b$为超平面的截距，超平面到原点的距离为$-\frac{b}{||w||}$.

感知机策略

1. 策略。损失函数选取为误分类点到超明面的总距离
   $$L(w,b) = -\sum\limits_{x_i \in M}y_i(w^Tx_i+b)$$
   其中$M$为误分类点的集合。

感知机算法

原始算法

采用随机梯度下降法，极小化过程不是一次使用M中所有的误分类点进行梯度下降，而是每次随机选取一个误分类点使梯度下降。算法为

$$w \leftarrow w+ \eta y_i x_i \\ b \leftarrow b + \eta y_i$$
其中$0\le \eta \le1$为学习速率。

选取初值 w，b
while L>0
    随机选一个样本：
        if yi*(w*xi+b)<=0
            w=w+eta*yi*xi
            b=b+eta*yi

感知机学习算法由于采用不同的初值或选取不同的误分类点，解可以不同。

对偶算法

上述原始算法对权值修正为

$$w \leftarrow w+ \eta y_i x_i \\ b \leftarrow b + \eta y_i$$
若修改n次，则$w,b$的关于$(x_i,y_i)$增量分别是$\alpha_iy_ix_i$与$\alpha_iy_i$，这里$\alpha_i=n_i\eta$，$n_i$表示$(x_i,y_i)$被选为误分类点的次数。则最后的权值参数可以表示为
$$w=\sum\limits_{i=1}^{N}\alpha_iy_ix_i\\ b = \sum\limits_{i=1}^{N}\alpha_iy_i$$
实例点更次次数越多，意味着它距离分类超平面越近，也就越难正确分类，这样的点对学习结果影响最大。
算法：
1. $\alpha \leftarrow 0,b \leftarrow 0$
2. 在训练集中选取数据$(x_i,y_i)$
3. 如果$y_i(\sum\limits_{j=1}^{N}\alpha_jy_jx_j\cdot x_i + b)\le 0$
$$\alpha_i = \alpha_i +\eta\\ b=b+\eta y_i$$
4. 转到2，直到没有误分类数据
对偶形势中，训练实例仅以内积的形式出现，则可以离线的计算出内积并存储到矩阵中，这个矩阵则为Gram矩阵
$$G=[x_i\cdot x_j]_{N\times N}$$