（《机器学习》完整版系列）第6章 支持向量机SVM——6.3 何为松驰变量（当搜寻范围扩大时，可能会找到更高的山、更低的谷）

松驰变量的理解是难点之一，也是很有意思的内容。

松驰变量

我们先描述一个事实：当搜寻范围扩大时，可能会找到更高的山、更低的谷，即
$$\begin{array}{r}\text{若}A\subseteq B,\text{则}\{\begin{array}{l}\underset{\mathbf{x}\in A}{\max }f(\mathbf{x})⩽\underset{\mathbf{x}\in B}{\max }f(\mathbf{x})\\ \underset{\mathbf{x}\in A}{\min }f(\mathbf{x})⩾\underset{\mathbf{x}\in B}{\min }f(\mathbf{x})\end{array}\end{array}\text{\hspace{1em}(6.16)}$$

设$1-y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b)<0$的$i$形成下标集$D_{-}$，$1-y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b)⩾0$的$i$形成下标集$D_{+}$，再作于关于点$(\mathbf{w},b,\mathbf{\xi })$的集合：$A=\{(\mathbf{w},b,\mathbf{\xi }):{\xi }_i=1-y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b),{\xi }_i⩾0\}$，$B=\{(\mathbf{w},b,\mathbf{\xi }):{\xi }_i⩾1-y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b),{\xi }_i⩾0\}$（这里的“$⩾$”也可以全都换成“$⩽$”），则有： $A\subseteq B$。

再在我们对优化目标【西瓜书式(6.34)】进行变换：
$$\begin{array}{rl}& \underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i=1}^m\max (0,1-y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b))\\ & =\underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _{i\in D_{+}\bigcup D_{-}}\max (0,1-y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b))\\ & =\underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\left(\sum _{i\in D_{+}}(1-y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b))+\sum _{i\in D_{-}}0\right)\\ & =\underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _i(1-y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b)),s.t.i\in D_{+}\\ & =\underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _i(1-y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b))\\ & s.t.1-y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b)⩾0\\ & =\underset{\mathbf{w},b,\mathbf{\xi }}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _i{\xi }_i\\ & s.t.{\xi }_i=1-y_i({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b),{\xi }_i⩾0\\ & =\underset{\mathbf{w},b,\mathbf{\xi }}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _i{\xi }_i\\ & s.t.(\mathbf{w},b,\mathbf{\xi })\in A\\ & ⩾\underset{\mathbf{w},b,\mathbf{\xi }}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C\sum _i{\xi }_i\\ & s.t.(\mathbf{w},b,\mathbf{\xi })\in B\text{（由式(6.16)）}\end{array}\text{\hspace{1em}(6.17)}$$
这即为【西瓜书式(6.35)】，由此将无约束的目标【西瓜书式(6.34)】，变为有约束的目标【西瓜书式(6.35)】，
此时，约束变量${\xi }_i$为自变量，称为“松驰变量”，它为一组$\mathbf{\xi }$。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：6.2 核函数型支持向量机SVM（方法：比较基本型来学习）
下一篇：6.4 软间隔与正则化、支持向量回归