机器学习理论之（6）：由逻辑回归（对数几率）方法到 SVM；为什么 SVM 是最大间隔分类器

回顾对数几率

• 在我上一篇文章：https://blog.csdn.net/qq_42902997/article/details/124255802?spm=1001.2014.3001.5501 中讲了逻辑回归的原理和优化目标：
  • 在每一次梯度下降执行的 step 中，我们都需要对每一个样本进行求算，对于样本 $x_i$，其标签为 $y_i$，他需要求算的参数的向量可以表示为 ${\theta }^T$（这其中包含了 $b$）
  • 我们可以认为 ${\theta }^T\cdot x_i$ 经过 sigmoid 函数处理之后的结果是 $\widehat{y_i}$ 即，$\widehat{y_i}=\sigma ({\theta }^T\cdot x_i)$
  • 这样的话，我们对于每一个样本的损失可以表示为：$L(y_i,\widehat{y_i})$ 又因为 $y_i$ 的取值有两种不同的情况，而我们使用一个式子来统一表示这两种不同情况下的优化目标 $L(y_i,\widehat{y_i})=-{\widehat{y_i}}^{y_i}(1-\widehat{y_i}{)}^{1-y_i}$，再经过 $log$ 变换后得到对于一个样本最终的损失函数：$$L(y_i,\widehat{y_i})=-y_{i}log(\widehat{y_i})+(1-y_i)log(1-\widehat{y_i})(1)$$
  • 由此，扩展到整个数据集中的 $m$ 个样本的总的代价函数可以写成：$$-\frac{1}{m}{\Sigma }_{i=1}^m{y}_{i}log(\widehat{y_i})+(1-y_i)log(1-\widehat{y_i})+\frac{\lambda }{2m}{\Sigma }_{j=1}^n{\theta }_j^2(2)$$

  公式中的第二个部分是正则化部分

• 对数几率的核心是引入了一个 sigmoid 非线性函数，从而可以让线性回归的任务进化成分类任务，sigmoid 函数如下：
  
  • 这里的符号 ${\theta }^{T}x$ 表示的和上面的意义相同，这里的 $z={\theta }^{T}x$其实等同于上文中的 $\widehat{y_i}$
  • 当这个 $x$ 对应的真实标签为 $y=1$ 的时候（正向样本），我们希望 $h_{\theta }(x)$ 的值最好能够无限逼近 $1$，换言之，我们希望被 sigmoid 映射之前的 ${\theta }^{T}x$ 越大越好，即 ${\theta }^{T}x>>0$
  • 而当$y=0$ 的时候（负向样本），我们又希望 $h_{\theta }(x)$ 的值最好能够无限逼近 $0$， 即 ${\theta }^{T}x<<0$

逻辑回归代价函数的另一视角

• 再看公式（1）给出的代价函数：

$$L(y_i,\widehat{y_i})=-y_{i}log(\widehat{y_i})+(1-y_i)log(1-\widehat{y_i})$$

• 如果将式子写的更完整一些，带入 $h_{\theta }(x)$ 的定义，并且去掉下标 $i$ （因为我们暂时不研究整个数据集中的所有样本，我们只研究一个样本的情况，暂时不通过 $i$ 来区分样本）我们可以得到下面的式子：

$$\begin{gathered} L(y,\hat{y})=-ylog(\frac{1}{1+e^{-{\theta }^{T}x}})+(1-y)log(1-\frac{1}{1+e^{-{\theta }^{T}x}}) \\ =y(-log(\frac{1}{1+e^{-{\theta }^{T}x}}))+(1-y)log(1-\frac{1}{1+e^{-{\theta }^{T}x}})(3) \end{gathered}$$

在这个公式（3）中让我们再单独看一下 $y=1$ 和 $y=0$ 时的情况，看看他们分别想要优化的目标：

• 当 $y=1$ 的时候 (${\theta }^{T}x>>0)$ 通过对公式 (3) 的代入可得结果只剩下前半部分 $$-log(\frac{1}{1+e^{-{\theta }^{T}x}})$$，这时将 ${\theta }^{T}x=z$ 我们可以得到一条跟随 $z$ 值变化的曲线：
  
  • 当 $z$ 的值逐渐增大的时候，这个函数的值是越来越趋于 $0$ 的
  • 这也就解释了，为什么当 $y=1$ 的时候通常 ${\theta }^{T}x$ 设置得很大。这是因为在 $y=1$ 的时候整个损失函数 $L(y,\hat{y})$ 只剩下了$-log(\frac{1}{1+e^z})$ 这时候设置很大的 ${\theta }^{T}x$ 就会导致整个 $L(y,\hat{y})$ 很小，也就达到了尽可能降低 loss 的目的。
• 同理，对于 $y=0$ 的情况，你可以看到也会有一条曲线来代表这个时候的 $L(y,\hat{y})$:
  
  • 也可以根据这个图很直观得到结论，当 $y=0$ 的时候，将 ${\theta }^{T}x$ 设置很小，因为这个时候也会导致 $L(y,\hat{y})$ 很小

SVM 的改进

• SVM 可以看做是在对数几率回归的基础上对损失函数进行了改进，logistic regression 的损失函数可以分为两个部分，也已经在上面论述过了，这里看看 SVM 的设计，他把这两个部分分别处于 $1$ 和 $-1$ 之间的值拉到 $0$ 了，硬生生 $y=1$ 和 $y=0$ 的情况之间挖出了一道鸿沟。
  

• 在这种情况下如何用数学形式表示 SVM 的损失函数呢？

• 我们把原先公式 (3) 中的损失分成前后两个部分，前面的部分写成 $$cos{t}_1(z)代替-log(\frac{1}{1+e^{-z}})(4)$$

• 后面的部分写成：
  $$cos{t}_0(z)代替-log(1-\frac{1}{1+e^{-z}})(5)$$

• $cost$ 的下标分别表示了 $y=1$ ($cos{t}_1$) 或者 $y=0$ ($cos{t}_0$) 的情况，所以对于一个样本 $x$，SVM 损失可以由 logistic regression 的损失演变而来，如下表示：
  $$L(y,\hat{y})=ycos{t}_1({\theta }^{T}x)+(1-y)cos{t}_0({\theta }^{T}x)(6)$$

• 进一步我们可以得到 SVM 表示下的整个样本集的代价可以表示为：
  $$\frac{1}{m}{\Sigma }_{i=1}^m{y}_{i}cos{t}_1({\theta }^T{x}_i)+(1-y_i)cos{t}_0({\theta }^T{x}_i)+\frac{\lambda }{2m}{\Sigma }_{j=1}^n{\theta }_j^2(7)$$

• 对于这个式子，我们采用一个 $C$ 参数来控制第一项的比重，从而去掉正则化中的 $\lambda$ 和 $m$

• $$C{\Sigma }_{i=1}^m{y}_{i}cos{t}_1({\theta }^T{x}_i)+(1-y_i)cos{t}_0({\theta }^T{x}_i)+\frac{1}{2}{\Sigma }_{j=1}^n{\theta }_j^2(8)$$

• $SVM$ 还有一个特性，那就是最后不会输出一个概率值，而是更加干脆的 $0$ 或者 $1$

为什么 SVM 叫最大间隔分类器

• 在 SVM 中由于我们采用了更加严格的措施，即不只是希望 ${\theta }^{T}x>=0$ 就分类其为正样本，我们希望判别的标准严格到 ${\theta }^{T}x>=1$； 同样的，对于负向的样本，我们也希望能够是判别的标准严格到 ${\theta }^{T}x<=-1$ 而不只是小于 $0$

• 所以我们把这个区别于 logistic regression 作为 SVM 的约束条件：

  ${\theta }^{T}x>=1,if{y}_i=1$
  ${\theta }^{T}x<=-1,if{y}_i=0$

• 通过公式 （8） 我们可以知道，当我们再 SVM 的优化过程中选用一个特别大的 $C$ 那么我们的优化过程就会期望第一项的值 ${\Sigma }_{i=1}^m{y}_{i}cos{t}_1({\theta }^T{x}_i)+(1-y_i)cos{t}_0({\theta }^T{x}_i)$ 尽可能地小，越接近 $0$ 越好，因为只有这样，整个 loss 的值才不会很大，才能符合优化的目标。

• 这种情况下我们假设我们达到了目的，使得 $C$ 后面的项足够小，假设达到了 $0$，所以整个损失函数可以简写成：
  $$C\cdot 0+\frac{1}{2}{\Sigma }_{j=1}^n{\theta }_j^2(9)$$

• 因此优化目标变成了最小化 $\frac{1}{2}{\Sigma }_{j=1}^n{\theta }_j^2$；而这个部分就是最大间隔的保证 下面我们来详细分析一下。

向量点积

• 对于两个向量 $\vec{u}=[u_1,u_2{]}^T,\vec{v}=[v_1,v_2{]}^T$
• 这两个向量的点积可以看成是 $\vec{v}$ 在向量 $\vec{u}$ 上的投影，投影的长度为 $p$，$\vec{u}$ 的长度可以表示成 $||u||$ 所以两个向量的点积可以表示成： $$\vec{u}\cdot \vec{v}=p\cdot ||u||=u_1{v}_1+u_2{v}_2$$

根据点积这个预备知识，要达到 $$mi{n}_{\theta }\frac{1}{2}{\Sigma }_{j=1}^n{\theta }_j^2$$ 相当于 $$mi{n}_{\theta }\frac{1}{2}{\Sigma }_{j=1}^n||{\theta }_j|{|}^2$$ 并且原来的约束条件：

${\theta }^{T}x>=1,if{y}_i=1$
${\theta }^{T}x<=-1,if{y}_i=0$
就可以写作：
$p_i\cdot ||\theta ||>=1,if{y}_i=1$
$p_i\cdot ||\theta ||<=-1,if{y}_i=0$

为什么 SVM 不选择小的 margin

• 假设现在有一堆点需要被分开（红色和蓝色）
• 假设有一个可选的决策边界（绿色直线），它的 margin 非常小，下面我们来看为什么 SVM 不会选择这种情形下的决策。

再补充一个小知识，${\theta }^T$ 这个向量是与决策边界垂直的。例如如果我有一个超平面 $y=-x$ 作为决策边界（这里为了简化暂时使用截距为 $0$ （${\theta }_0=0$） 的假设情况），$y=-x$ 还可以写作： $x+y=0$ 所以他的 ${\theta }^T$ 向量表示为 ${\theta }^T=[1,1]$；
所以综上所述，决策边界是一条斜率为 $-1$ 的直线，而对应的 ${\theta }^T$ 向量确实指向右斜上方的，如下图所示：

• 继续看当前的这种情况，根据我们上面的点积已有的知识，我们可以得到距离决策边界最近的两个点的损失可以分别表示为：
  • $p_1\cdot ||\theta ||$
  • $p_2\cdot ||\theta ||$
    
• 而由于这个 margin 非常小，就意味着 $p_1$ 和 $p_2$ 非常小，别忘了我们上面的约束条件：

  $p_i\cdot ||\theta ||>=1,if{y}_i=1$
  $p_i\cdot ||\theta ||<=-1,if{y}_i=0$

• 因此如果 $p_1$ 和 $p_2$ 非常小，我们就必须保证 $||\theta ||$ 很大才能满足结果 $>=1$ 或者 $<=-1$ 的要求
• 而 $||\theta ||$ 很大就意味着违反了优化目标 $$mi{n}_{\theta }\frac{1}{2}{\Sigma }_{j=1}^n{\theta }_j^2$$
• 所以为了不使得优化目标和约束条件发生矛盾，我们就得保证决策边界的 margin 比较大。因此下面我们看一个正确的情况，并且进行相应的分析。

当 SVM 选择合理的 margin

• 在这个情境下，假设 margin 的直线可以用 $x=0$ 来表示；也就是可以表示为 $x+0y=0$ 所以对应的向量 ${\theta }^T=[1,0]$

• 这个时候对于两个离决策边界最近的正负样本的损失分别为：
  

  • $p_1\cdot ||\theta ||$
  • $p_2\cdot ||\theta ||$
  • 而由于 $p_1$, $p_1$ 相对较大，所以 ${\theta }^T$ 可以在保证 $||\theta ||$ 的情况下达到约束条件：

  $p_i\cdot ||\theta ||>=1,if{y}_i=1$
  $p_i\cdot ||\theta ||<=-1,if{y}_i=0$

• 因此对比两种不同的 SVM 决策边界，由于第二种可以在 $||\theta ||$ 较小的情况下保证约束条件的成立，所以 SVM 会选择大的 margin 的分类策略。