感知机对偶算法

感知机只能区分线性可分的数据集，当线性不可分时，SGD算法会发生震荡(随着梯度下降，总有样本未被正确分类)，原始算法SGD的公式如下：


在经过一系列SGD后，这一形式可以被写为如下，其中 αi = ni * η，当 η = 1 时，ai 表示第 i 个误分类点的更新次数：

因此，对于某个误分类点，有：

梯度更新公式为：

这里第一项等价于原始梯度下降公式的第一项，相当于该误分类点更新次数加1。
这里的 xj * xi 可以通过预先构建 N * N 的矩阵查询获得：