感知机

概念

1. 感知机是根据输入实例特征向量$x$对其进行二分类的线性分类模型:
   

   $$f(x)=sign(w·x+b)$$
   感知机模型对应于输入空间（特征空间）的分离超平面是$w·x+b=0$

2. 感知机学习策略是极小化损失函数：
   

   $$\min_{w,b}L(w,b)=-\sum_{x_i \in M} y_i(w·x_i+b)$$
   损失函数对应于误分类点到分离超平面的总距离，$M$是误分类点集合。

3. 感知机学习算法是误分类驱动的，基于随机梯度下降法的对损失函数的最优化算法，有原始形式和对偶形式。学习过程中随机选取一个误分类点进行学习，使其梯度下降。感知机模型参数更新过成为，随机选取一个误分类点$(x_i,y_i)$，对$w,b$进行更新：
   

   $$w \leftarrow w+ \eta y_ix_i \\ b \leftarrow b+ \eta y_i$$