支持向量机的几点注记

1、划分超平面到其异类的支持向量的距离是相等的。所以，对二分类问题而言，它对两种分类类别的泛化能力是一致的。如果某一类数据的噪声小，可以适当的降划分超平面到该类数据支撑向量的距离，降低其鲁棒性（容忍误差范围）。反之亦然。

2、函数间隔可以等倍地增加、减少，因此，取 $| w'x +b |=1$ 足以表示 距离 划分超平面$w'x +b =0$ 最近的样本点所在的方程，也即是支持向量。 换句话说，如果超平面$(w',b')$能够将训练样本正确分类，则一定存在缩放变换 :$fw \to w$ 和 $gb \to b$ 使得对所有的样本点，都有下式成立:

$$w'x_i + b \ge 1, y_i = +1$$ $$w'x_i + b \le 1, y_i = -1$$

3、支持向量机的标准形式：

$$\min_{w,b} {1\over2}||w||^2$$ $$s.t. \ \ \ y_i(w^Tx_i+b)\ge 1, \ \ \ \ i =1,2,....,m$$

4、将主问题转化为对偶问题$\Gamma(\lambda,\mu)= \inf_{x\in D} L(x,\lambda,\mu)$之后，对偶函数给出了主问题最优值的下界，基于对偶函数所能获得的最好的下界是对对偶问题的优化（最大值）。强对偶性成立的条件称为Slater条件（凸优化问题）。

5、KKT条件给出了支持向量所对应的样本点是位于最大间隔的边界上的解释。$a_i(y_if(x_i)-1)=0$ 说明当$a_i$ 不等于0时，其必满足最大间隔方程。最终模型只于支持向量有关。

6、核技巧 是将高维空间的内积运算$(\phi(x_i),\phi(x_j))$转化为原始样本空间的核函数$\mathcal K(x_i,x_j)$的运算。

7、对文本数据采用线性核，情况不明时可先采用高斯核。

8、超平面方程$f(x) = w^Tx+b$ 中的参数$b$ 采用一种更鲁棒的算法：

$$b = \frac{1}{\vert S \vert} \sum_{s\in S}\Biggl( y_s - \sum_{i\in S}a_iy_ix_i^Tx_s \Biggl)$$

$$S = \{ i \vert a_i \gt 0 , i =1,2,...,m \}$$
相当于把支持向量都选出来，利用超平面方程计算出平均意义下的 b <script type="math/tex" id="MathJax-Element-3918">b</script>.

9、软间隔支持向量机：允许在部分样本上出错。可以防止过拟合。