感知机学习总结

文章大量摘自《统计学习方法》李航 p35

• 感知机是根据实例的特征向量$x$对其进行二分类的线性分类模型：

$$f(x)=sign(w\cdot x+b)$$
感知机模型对应输入空间（特征空间）中的分离超平面$w\cdot x+b$。

• 感知机的学习策略是极小化损失函数：
  $$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x+b)$$
  损失函数对应误分类的点到分离超平面的总距离。

• 感知机学习算法是基于随机梯度下降法对损失函数最优化算法，有原始形式和对偶形式。算法简单易于实现。在原始形式中，首先任取一个超平面，然后用梯度下降法不断的极小化目标函数。在这个过程中一次随机选取一个误分类的点使其梯度下降。

• 当训练集可分时感知机的学习算法是收敛的，感知机的学习算法有无穷多解。其解由于初值不同或者迭代顺序不同而不同。