感知机

应用场景：

数据集是线性可分的二分类问题。

假设空间：

即用一个超平面将数据集中的数据划分了两类。

学习策略：

M：一个超平面误分点的集合。

学习策略：使所有误分点到超平面的距离之和最小。前提要保证所有的点被超平面进行了正确的划分。

算法（梯度下降）

两种形式：

原始形式

这种形式：在每一次找到误分类点之后需要更新权值向量w和偏置b。而且更新权值向量之后，还要计算向量之间的内积，这样比较耗时

对偶形式

在原始形式的基础上，我们假设初始权值向量w和偏置b为0；观察权值向量和偏置的更新：
于是得到下面的式子：
将其代入原始形式的式子中；得到
故其对偶形式的算法如下：
这种情况下：只需要更新偏置和次数向量。与原始形式相比：虽然更新的规模是一样的，但是在迭代的过程中就不会有更多的向量内积，因为向量内积的个数是一定的，可以提前计算出来，存在在一个数组中。

案例

实现