一天学懂一个算法之感知机

  广义线性回归模型包括线性回归、感知机和逻辑回归模型。

  感知机模型是SVM的前序模型。

  类别信息如何理解呢？本质上相当于是投影后用超平面进行区分。

1. 损失函数

  误分类的损失函数。误分类点到分界面的距离最小。

  误分类点：$-y\hat{y}>0$

2. 优化方法

  感知机使用的是随机梯度下降。也就是说每次只对随机选取的某一个误分数据进行参数迭代。

$$w=w+\eta x_i{y}_i$$

$$b=b+\eta y_i$$

3. 对偶形式

  为什么在对偶形式中只替换了$w$，而没有替换$b$。因为$w$用Gram矩阵计算会更快，但是$b$并不会。

$${\alpha }_i=n_i\eta$$

  为什么${\alpha }_i={\alpha }_i+\eta$，当学习率为1时，alpha_i代表每个样本被错分类的次数，所以对于每个样本每错分一次就要加1。