SVM支持向量机系列理论（七） 线性支持向量机与L2正则化 Platt模型

7.1 软间隔SVM等价于最小化L2正则的合页损失

上一篇 说到，$\xi_i$ 表示偏离边界的度量，若样本点$(x_i,y_i)$满足约束时，则 $\xi_i =0$， 当不满足约束时，$\xi_i =1 - y_i(w \cdot x_i + b)$,表示偏离margin的度量。

则把上面的合起来：

$\xi_i = max(0, 1 - y_i(w \cdot x_i + b))$
那么优化目标函数可以写为：

$min_{ \ w,b} \ \ \frac{1}{2}{||w||}^2 + C \sum_{i=1}^{N}max(0, 1 - y_i(w \cdot x_i + b)) \ \ \ \ \ \ \ \ (1)$

其中，我们把式子中的
$L_{hinge }= max( \ 1-z \ , \ 0)$ 称为hinge合页损失函数。

我们可以看到 L2 正则化的合页损失函数可以等价于软间隔SVM。
但是，软间隔SVM的优势在于：

• 是一个二次规划问题（QP），可以利用核技巧
• max（0，1-z）不是可微的，难以解决，无法用梯度下降。

---

7.2 软间隔SVM与L2正则的0-1损失

软间隔允许某些样本不满足约束
$\ \ \ y_i{(w \cdot x_i + b )}{} \geq {1};$，而且我们希望在最大化间隔时，不满足约束的样本尽可能少。

那么优化目标函数可以写为：

$min_{ \ w,b} \ \ \frac{1}{2}{||w||}^2 + C \sum_{i=1}^{N} L_{0/1}(y_i(w \cdot x_i+b)-1)\ \ \ \ \ \ \ \ (2)$

C 为无穷大时，迫使所有样本满足约束，C为有限值时，允许一些样本不满足约束。

其中，$L_{0/1}$是0-1损失函数，代表当不满足约束时，记为 1. 但是，0-1损失函数是非凸非连续函数，数学性质不好，通常使用凸函数且是0-1损失函数的上界来代替损失函数：

• hinge合页损失函数：
  $L_{hinge }= max( \ 1-z \ , \ 0)$
• 指数算损失:
  $L_{exp}z = e^{ -z}$
• 对率损失： $L_{log}z = log_2(1+e^{ -z})$

7.3 软间隔SVM和L2正则的损失函数的对应关系

使用

• 最大间隔对应L2正则化项
• 一个大的C对应一个小的 $\lambda$
• 软间隔对应特殊的损失

那么，软间隔SVM可以视为一个加L2正则化的模型。

---

7.4 逻辑回归模型和线性支持向量机的关系

针对（2）,如果将0-1损失函数$L_{0/1}$替换成对数损失函数$L_{log}$(也就是极大似然函数),那么就几乎得到了逻辑回归模型（周志华《机器学习》P57）。

实际上，支持向量机和逻辑回归的优化目标相近，性能也相当。

逻辑回归的优势：

• 有自然的概率意义，在给出预测标记的同时给出概率。
• 能应用于多分类任务。

SVM的优势：

• 支持向量机的解只依赖于支持向量，逻辑回归的解依赖于更多的训练样本，预测开销比较大。

---

7.5 Platt模型：SVM的概率模型

1. run SVM on D .得到 $(b_{svm},w_{svm})$, 并 把D转换到$z =w_{svm}^T \phi(x) + b_{svm}$
2. 把{$(z_i,y_i)_1^N$}代入逻辑回归模型得出A，B
3. return$g(x) = LogReg(A \cdot z + B)$

这样就能把SVM的结果转化成概率。