支持向量机（2）

最新推荐文章于 2024-08-01 22:17:07 发布

行路南

最新推荐文章于 2024-08-01 22:17:07 发布

阅读量609

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/u010414589/article/details/50285193

版权

机器学习专栏收录该内容

19 篇文章 0 订阅

订阅专栏

第一节已经介绍了直接求解线性可分支持向量机的方法，但求解过程往往复杂。所以我们可以转换思路：将该问题作为原始问题，应用拉格朗日对偶性，通过求解对偶问题得到原始问题的解。这样做的好处：

求解更加容易
可以引入核函数，方便推广到非线性分类问题

对偶问题

对偶问题求解步骤：

根据原始问题，构造拉格朗日函数：

$L (w, b, α) = 1 2 | | w | | 2 + \sum i = 1 N α i (1 - y i (w \cdot x i + b)) = 1 2 | | w | | 2 - \sum i = 1 N α i y i (w \cdot x i + b) + \sum i = 1 N α i$ $\begin{align} L(w,b,\alpha ) &=\frac{1}{2}||w||^2+\sum_{i=1}^N\alpha_i(1-y_i(w\cdot x_i +b))\\ & =\frac{1}{2}||w||^2-\sum_{i=1}^N\alpha_iy_i(w\cdot x_i +b)+\sum_{i=1}^N\alpha_i \end{align}$
原始问题为极小极大问题，对偶问题为极大极小问题。即：

maxαminw,bL(w,b,α)
先求 L(w,b,α) 对 w,b 的极小，再求 minL(w,b,α) 对 α 的极大。依次为：
- 先求 $L(w,b,\alpha)$ 对 $w,b$ 的极小 $\nabla w L (w, b, α) = w - \sum i = 1 N α i y i x i = 0$ $\nabla_wL(w,b,\alpha)=w-\sum_{i=1}^N\alpha_iy_ix_i=0$ $\nabla b L (w, b, α) = \sum i = 1 N α i y i = 0$ $\nabla_bL(w,b,\alpha)=\sum_{i=1}^N\alpha_iy_i=0$ 将两个等式结果代入 $L(w,b,\alpha)$ ，就得到了 $\min L(w,b,\alpha)$ 。即：
  $min w, b L (w, b, α) = 1 2 \sum i = 1 N \sum j = 1 N α i α j y i y j (x i \cdot x j) - \sum i = 1 N α i y i ((\sum j = 1 N α j y j x i) \cdot x j + b) + \sum i = 1 N α i = - 1 2 \sum i = 1 N \sum j = 1 N α i α j y i y j (x i \cdot x j) + \sum i = 1 N α i$ $\begin{align} \min_{w,b}L(w,b,\alpha)&=\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^N\alpha_iy_i((\sum_{j=1}^N\alpha_jy_jx_i)\cdot x_j+b)+\sum_{i=1}^N\alpha_i\\ &=-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)+\sum_{i=1}^N\alpha_i \end{align}$
- 再求 $\min L(w,b,\alpha)$ 对 $\alpha$ 的极大，即是对偶问题:
  $max α - 1 2 \sum i = 1 N \sum j = 1 N α i α j y i y j (x i \cdot x j) + \sum i = 1 N α i \sum i = 1 N α i y i = 0 α i \geq 0 i = 1, 2, \dots, N$ $\begin{align} & \max_{\alpha} \ -\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)+\sum_{i=1}^N\alpha_i \\ &\\ & \sum_{i=1}^N\alpha_iy_i=0\\ & \alpha_i \ge 0 \qquad i=1,2,\cdots,N\\ \end{align}$
  也等价于
  $min α 1 2 \sum i = 1 N \sum j = 1 N α i α j y i y j (x i \cdot x j) - \sum i = 1 N α i \sum i = 1 N α i y i = 0 α i \geq 0 i = 1, 2, \dots, N$ $\begin{align} & \min_{\alpha} \ \frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^N\alpha_i \\ &\\ & \sum_{i=1}^N\alpha_iy_i=0\\ & \alpha_i \ge 0 \qquad i=1,2,\cdots,N\\ \end{align}$
由上一步求解对偶问题，可以得到对偶问题的解 $\alpha^*=(\alpha_1^*,\alpha_2^*,\cdots,\alpha_N^*)$ 。且此原始问题和对偶问题符合转换的条件，通过KKT条件可以由 $\alpha^*$ 求得原始问题的解 $w^*,b^*$ 。
KKT条件：

$\nabla w L (w *, b *, α *) = w * - \sum i = 1 N α * i y i x i = 0 \nabla b L (w *, b *, α *) = \sum i = 1 N α i y i = 0 α * i (y i (w \cdot x i + b) - 1) = 0 y i (w \cdot x i + b) - 1 \geq 0 α * i \geq 0 i = 1, 2, \dots, N$ $\begin{align} &\nabla_wL(w^*,b^*,\alpha^*)=w^*-\sum_{i=1}^N\alpha_i^*y_ix_i=0\\ &\nabla_bL(w^*,b^*,\alpha^*)=\sum_{i=1}^N\alpha_iy_i=0\\ &\alpha_i^*(y_i(w\cdot x_i +b)-1)=0\\ &y_i(w\cdot x_i +b)-1\ge 0\\ &\alpha_i^* \ge 0\\ &i=1,2,\cdots,N\\ \end{align}$
则得到 $w^*= \sum_{i=1}^N\alpha_i^*y_ix_i$ ,又因为一定存在 $\alpha_i>0$ （若均等于0，则 $w^*=0$ 不是原始问题可行解），则对于 $\alpha_i>0$ ，有 $y_i(w\cdot x_i +b)-1=0$ ，则 $b^*=y_i-w\cdot x_i= y_i-\sum_{j=1}^N\alpha_j^*y_j(x_i\cdot x_j)$ 。
因此得到了分离超平面 $\sum_{i=1}^N\alpha_i^*y_i(x\cdot x_i)+b^*=0$ ，相应的分类器为 $f(x)=sign(\sum_{i=1}^N\alpha_i^*y_i(x\cdot x_i)+b^*)$ 。
也就是说，之前对于未知样本首先根据w和b做一次线性运算，然后看求的结果是大于0还是小于0,来判断正例还是负例。现在通过 $\alpha_i$ ，我们不需要求出w，只需将未知样本和训练数据中的所有样本做内积和即可。另外，我们从KKT条件中得到，只有支持向量的 $\alpha_i>0$ ，其他情况 $\alpha_i=0$ 。因此，我们只需求未知样本和支持向量的内积然后运算即可。