【无标题】

支持向量机分析

1. 硬间隔支持向量机

硬间隔支持向量机的目标是找到一个超平面，使得所有数据点都位于间隔边界之外，并且间隔最大化。其优化问题可以表示为：

$$\begin{array}{c}{\min }_w\frac{1}{2}\Vert w{\Vert }^2\\ \text{s.t.}{y}_i(w^T{x}_i+b)\ge 1,\forall i\end{array}$$

公式来源

• 目标函数：$\frac{1}{2}\Vert w{\Vert }^2$ 是为了最大化间隔。通过最小化 $\Vert w{\Vert }^2$，我们实际上是在最大化间隔，因为间隔的大小与 $\frac{1}{\Vert w\Vert }$ 成反比。

• 约束条件：$y_i(w^T{x}_i+b)\ge 1$ 确保所有数据点都位于间隔边界之外。对于正类数据点（$y_i=1$），要求 $w^T{x}_i+b\ge 1$；对于负类数据点（$y_i=-1$），要求 $w^T{x}_i+b\le -1$。
  

2. 软间隔支持向量机

当数据不可分时，我们需要引入松弛变量 ${\xi }_i$ 来允许一些数据点违反间隔条件，从而转化为软间隔优化问题。软间隔优化问题可以表示为：

$$\begin{array}{c}{\min }_{w,b,\xi }\frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^n{\xi }_i\\ \text{s.t.}{y}_i(w^T{x}_i+b)\ge 1-{\xi }_i,{\xi }_i\ge 0,\forall i\end{array}$$

公式来源

• 目标函数：$\frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^n{\xi }_i$。这里，$\frac{1}{2}\Vert w{\Vert }^2$ 仍然是为了最大化间隔，而 $C{\sum }_{i=1}^n{\xi }_i$ 是为了惩罚违反间隔条件的数据点。$C$ 是一个正则化参数，用于平衡间隔的宽度和违反间隔条件的数据点数量。
• 约束条件：$y_i(w^T{x}_i+b)\ge 1-{\xi }_i$ 确保数据点尽可能位于间隔边界之外，但允许一些数据点违反间隔条件。${\xi }_i\ge 0$ 确保松弛变量为非负。
• #分析#：也就是说，允许一部分应该满足条件的数据，例如应该$\ge 1$的数据$\ge 1-\xi$就可以了，相当于引入了一个偏差，允许偏差存在，但是偏差要足够小，所以带入了目标函数作为我们的惩罚项。
• 违反间隔条件：当 ${\xi }_i>0$ 时，表示第 $i$ 个数据点违反了间隔条件。具体来说，${\xi }_i$ 越大，表示数据点越接近或越远离其应在的位置。
• 惩罚项：$C{\sum }_{i=1}^n{\xi }_i$ 是目标函数中的惩罚项，用于控制违反间隔条件的数据点数量和程度。$C$ 是一个超参数，用于平衡间隔的宽度和违反间隔条件的数据点数量。较大的 $C$ 值会导致模型对违反间隔条件的数据点更加敏感，而较小的 $C$ 值会使模型更加宽容。

3. 拉格朗日对偶形式

为了求解这个优化问题，我们可以引入拉格朗日乘子 ${\alpha }_i$ 和 ${\mu }_i$，并构建拉格朗日函数：

$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i[y_i(w^T{x}_i+b)-1+{\xi }_i]-\sum _{i=1}^n{\mu }_i{\xi }_i$$

通过对 $w$, $b$, $\xi$ 求偏导并设为零，可以得到对偶问题：

$$\begin{array}{c}{\max }_{\alpha }{\sum }_{i=1}^n{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\\ \text{s.t.}0\le {\alpha }_i\le C,{\sum }_{i=1}^n{\alpha }_i{y}_i=0\end{array}$$

注：

在构建支持向量机（SVM）的拉格朗日对偶问题时，我们通常对原始变量（$w$, $b$, $\xi$）求偏导数并设为零，而不是对拉格朗日乘子（${\alpha }_i$, ${\mu }_i$）求导数。这是因为我们希望通过消去原始变量，得到一个仅关于拉格朗日乘子的对偶问题。让我们详细分析一下这个过程。

1. 拉格朗日函数

首先，我们构建拉格朗日函数：

$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i[y_i(w^T{x}_i+b)-1+{\xi }_i]-\sum _{i=1}^n{\mu }_i{\xi }_i$$

2. 对原始变量求偏导数并设为零

我们对原始变量 $w$, $b$, $\xi$ 求偏导数并设为零，以消去这些变量，从而得到对偶问题。

对 $w$ 求偏导并设为零

$$\frac{\partial L}{\partial w}=w-\sum _{i=1}^n{\alpha }_i{y}_i{x}_i=0$$

解得：

$$w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i$$

对 $b$ 求偏导并设为零

$$\frac{\partial L}{\partial b}=-\sum _{i=1}^n{\alpha }_i{y}_i=0$$

解得：

$$\sum _{i=1}^n{\alpha }_i{y}_i=0$$

对 ${\xi }_i$ 求偏导并设为零

$$\frac{\partial L}{\partial {\xi }_i}=C-{\alpha }_i-{\mu }_i=0$$

解得：

$${\alpha }_i+{\mu }_i=C$$

3. 构建对偶问题

通过对原始变量求偏导并设为零，我们得到了 $w$, $b$, $\xi$ 的表达式。接下来，我们将这些表达式代入拉格朗日函数中，消去 $w$, $b$, $\xi$，从而得到一个仅关于拉格朗日乘子 ${\alpha }_i$ 的对偶问题。

将 $w={\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i$ 代入拉格朗日函数：

$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}{\left(\sum _{i=1}^n{\alpha }_i{y}_i{x}_i\right)}^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i[y_i(\sum _{j=1}^n{\alpha }_j{y}_j{x}_j^T{x}_i+b)-1+{\xi }_i]-\sum _{i=1}^n{\mu }_i{\xi }_i$$

通过整理和简化，可以得到对偶问题：

$$\begin{array}{c}{\max }_{\alpha }{\sum }_{i=1}^n{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\\ \text{s.t.}0\le {\alpha }_i\le C,{\sum }_{i=1}^n{\alpha }_i{y}_i=0\end{array}$$

4. 为什么不对拉格朗日乘子求导数？

对拉格朗日乘子（${\alpha }_i$, ${\mu }_i$）求导数并设为零并不能直接得到对偶问题。拉格朗日乘子是用于处理约束条件的，通过对原始变量求偏导并设为零，我们可以消去这些变量，从而得到一个仅关于拉格朗日乘子的对偶问题。对偶问题的解与原始问题的解是等价的，但对偶问题通常更容易求解。

公式来源

• 拉格朗日函数：通过引入拉格朗日乘子 ${\alpha }_i$ 和 ${\mu }_i$，我们将原始问题的约束条件合并到目标函数中。
• 对偶问题：通过对 $w$, $b$, $\xi$ 求偏导并设为零，我们可以消去这些变量，得到一个仅关于 ${\alpha }_i$ 的对偶问题。对偶问题的解与原始问题的解是等价的。