感知机模型及其对偶形式

1. 对偶

• 输入：线性可分的数据集 $T=\{(x_1,y_1),(x_2,y_2),\ldots,(x_N, y_N)\}$，其中 $x_i\in \mathbb R^n, \; y_i\in \{-1,+1\}$ ，学习率为 $\eta$，

• 输出：$\alpha,b$，感知机模型为 $f(x)=\text{sgn}(\sum\limits_{j=1}^N\alpha_jy_jx_j\cdot x+b)$，显然 $\alpha$ 是长度为 N 的向量；

• 算法：

  • (1) $\alpha \leftarrow 0, b\leftarrow 0$
  • (2) 在训练集中选取数据 $(x_i,y_i)$
  • (3) 如果 $y_i\left(\sum\limits_{j=1}^N\alpha_jy_jx_j\cdot x+b\right)\leq 0$，
    
    • $\alpha_i\leftarrow \alpha_i+\eta$
    • $b\leftarrow + \eta y_i$
  • (4) 转至(2), 直至没有误分类数据；

对于 $\sum\limits_j x_j\cdot x$，也即对偶形式中训练实例仅以内积的形式出现，为了方便（离线训练），可以预先将训练集中实例间的内积计算出来，并以矩阵的形式存储，这个矩阵就是所谓的 Gram 矩阵，

$$G_{i,j}=\langle x_i,x_j\rangle$$