SVM 决策函数的求解方法

上篇文章利用Matlab中的quadprog函数求解出拉格朗日算子矩阵$\alpha$

本文将介绍如何利用$\alpha$求解非线性核SVM最终的决策函数

• 多项式形式的核函数，二次为例：

$$K(u,v)=(u^{T}v+1{)}^2$$

• 决策函数：
  $$\begin{gathered} g(x)=w^T\varphi (x)+b \\ =\sum _{i=1}^N{\alpha }_i{y}_i{\varphi }^T(x_i)\varphi (x)+b \\ =\sum _{i=1}^N{\alpha }_i{y}_{i}K(x_i,x)+b \end{gathered}$$

  • ${\alpha }_i$是我们已经求出的矩阵$\alpha$的元素
  • $y_i$是已知的训练集标签
  • $K(x_i,x)=(x_i^T\cdot x+1{)}^2$
    • $x_i$是训练集第$i$个样本
    • $x$是我们需要判断的一个样本，其维度与$x_i$一致

• 问题在于如何求解$b$

  • 由于我们已知支持向量的判别结果被定义为±1

  • 对于我们已知的训练集，它包含两类样本，分别是$x_{+}$和$x_{-}$
    $$\begin{gathered} \vec{\omega }\cdot \overrightarrow{x_{+}}+b\ge 1,对于+样本 \\ \vec{\omega }\cdot \overrightarrow{x_{-}}+b\le -1,对于-样本 \end{gathered}$$

  • 刚好在判定边界上的支持向量代入决策函数的结果是已知的

  • 我们可以通过这一点来计算所有支持向量对应的$b$，最后取平均值

  • 这里的 $\vec{\omega }\cdot \vec{x}$就是${\sum }_{i=1}^N{\alpha }_i{y}_{i}K(x_i,x)$