感知机（原始形式和对偶形式）的理解和实现

感知机

感知机是根据输入实例的特征向量 x 对其进行二类分类的线性模型：

$$f(x)=sign(w\cdot x+b)$$
感知机模型对应于输入空间（特征空间）中的分离超平面 $w\cdot x+b=0$.其中w是超平面的法向量，b是超平面的截距。

可见感知机是一种线性分类模型，属于判别模型。

---

感知机学习的假设

感知机学习的重要前提假设是训练数据集是线性可分的。

---

感知机学习策略

感知机学的策略是极小化损失函数。

损失函数的一个自然选择是误分类点的总数。但是，这样的损失函数不是参数 w, b的连续可导的函数，不易于优化。所以通常是选择误分类点到超平面 S 的总距离：

$$L(w,b)=-\sum_{x_i\in M}y_i(w\cdot x_i+b)$$
学习的策略就是求得使 L(w,b) 为最小值的 w 和 b。其中 M 是误分类点的集合。

---

感知机学习的算法

感知机学习算法是基于随机梯度下降法的对损失函数的最优化算法，有原始形式和对偶形式，算法简单易于实现。

原始形式

$$\min_{w,b}L(w,b)=-\sum_{x_i\in M}y_i(w\cdot x_i+b)$$
首先，任意选取一个超平面 $w_0, b_0$,然后用梯度下降法不断地极小化目标函数。极小化的过程中不是一次使 M 中所有误分类点得梯度下降，而是一次随机选取一个误分类点，使其梯度下降。

∇wL(w,b)=−∑