SVM优化--对偶

最新推荐文章于 2022-02-06 23:25:15 发布

yeqiustu

最新推荐文章于 2022-02-06 23:25:15 发布

阅读量294

点赞数

分类专栏：机器学习#SVM 文章标签：机器学习 svm 算法对偶问题

本文链接：https://blog.csdn.net/yeqiustu/article/details/105694967

版权

机器学习#SVM 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

在SVM--基本思想中讲到SVM的优化目标，这里再贴出来，如下：

$\min_{W,b,\xi}||W||^2/2 + C \sum_i{\xi _i} \\ s.t. \;\;\; && y_i (W^T X_i + b) \geq 1-\xi_i, \forall i \\ \xi _i \geq 0 , \forall i$

这是一个二次规划问题，虽然可以直接应用KKT条件进行求解，但是还是太过复杂，不易求解；

首先对该问题进行一下转化，设

$L(W,b,\xi,\alpha,\beta) = f(W,b,\xi) + \sum_i{\alpha_i g(X_i)} + \sum_i{\beta_i h(\xi_i)}$

其中 $g(X_i) = 1-\xi_i - y_i (W^T X_i + b) \leq 0$ 、 $h(\xi_i) = -\xi_i \leq 0$ 、 $\alpha_i \geq 0, \; \beta_i \geq 0, \; \forall i$

$f(W,b,\xi) = \frac{{\left \| W \right \|}^2}{2} + C \sum_i{\xi_i}$

$\because \alpha_i g(X_i) \leq 0, \; \beta_i h(\xi_i) \leq 0$ ，

$\therefore \max_{\alpha,\beta}L(W,b,\xi,\alpha,\beta) = f(W,b,\xi)$ ，也即有

$\min_{W,b,\xi}{f(W,b,\xi)} = \min_{W,b,\xi}\max_{\alpha,\beta}L(W,b,\xi,\alpha,\beta)$ ，参照KKT的证明，

易知，当 $\alpha_i g(X_i) = 0, \; \beta_i h(\xi_i) = 0, \; \forall i$ （KKT）时，

$\min_{W,b,\xi}\max_{\alpha,\beta}L(W,b,\xi,\alpha,\beta) = \max_{\alpha,\beta}\min_{W,b,\xi}L(W,b,\xi,\alpha,\beta)$ ，等式右边是等式左边的对偶

最终，SVM的优化目标等价于

$\max_{\alpha,\beta}\min_{W,b,\xi}L(W,b,\xi,\alpha,\beta) \\ s.t. \;\; \forall i \left\{\begin{matrix} \alpha_i g(X_i) = 0, \; \beta_i h(\xi_i) = 0 \\ g(X_i) \leq 0 , \; h(\xi_i) \leq 0 \\ \alpha_i \geq 0, \; \beta_i \geq 0 \end{matrix}\right.$

先求 $\min_{W,b,\xi}L(W,b,\xi,\alpha,\beta)$ ，即

$\left\{\begin{matrix} \partial L/\partial W = W - \sum_{i}\alpha_i y_i X_i = 0 \; &\rightarrow& W = \sum_{i}\alpha_i y_i X_i \\ \partial L/\partial b = - \sum_{i}\alpha_i y_i = 0 \; &\rightarrow& \sum_{i}\alpha_i y_i = 0\\ \partial L/\partial \xi_i = C - \alpha_i - \beta_i = 0 \; &\rightarrow& \alpha_i = C-\beta_i \leq C \\ \end{matrix}\right.$ 将这些代入上公式，即有

$\min_{a}L = \min_{a}\left \| \sum_{i}a_i y_i X_i \right \|^2/2 - \sum_{i}a_i \\ s.t. \;\; \forall i \left\{\begin{matrix} \alpha_i g(X_i) = 0, \; \beta_i h(\xi_i) = 0 \\ g(X_i) \leq 0 , \; h(\xi_i) \leq 0 \\ \alpha_i \geq 0, \; \beta_i \geq 0 \\ 0 \leq a_i \leq C, \;\; \sum_{i}a_i y_i = 0 \end{matrix}\right.$

当 $\alpha_i = 0$ 时， $\beta_i = C - \alpha_i = C > 0 \; \rightarrow \xi_i = 0$ ，有 $y_i(W^T X_i + b) \geq 1-\xi_i=1$

当 $0 < \alpha_i < C$ 时， $0 < \beta_i = C - \alpha_i < C \; \rightarrow \xi_i = 0$ ，有 $y_i(W^T X_i + b) = 1-\xi_i=1$

当 $\alpha_i = C$ 时， $\beta_i = C - \alpha_i = 0 \; \rightarrow \xi_i \geq 0$ ，有 $y_i(W^T X_i + b) = 1-\xi_i \leq 1$

即有 $\left\{\begin{matrix} y_i(W^T X_i + b) \geq 1 &,& \alpha_i = 0 \\ y_i(W^T X_i + b) = 1 &,& 0 < \alpha_i < C \\ y_i(W^T X_i + b) \leq 1 &,& \alpha_i = C \\ \end{matrix}\right.$ ，

所以最终 $\min_{\alpha}L = \min_{\alpha}\left \| \sum_{i}\alpha_i y_i X_i \right \|^2/2 - \sum_{i}\alpha_i \\ s.t. \;\; 0 \leq \alpha_i \leq C, \; \sum_{i}\alpha_i y_i = 0 \\ KKT: \forall i \left\{\begin{matrix} y_i(W^T X_i + b) \geq 1 &,& \alpha_i = 0 \\ y_i(W^T X_i + b) = 1 &,& 0 < \alpha_i < C \\ y_i(W^T X_i + b) \leq 1 &,& \alpha_i = C \\ \end{matrix}\right.$

在取得最优解后，即可根据 $\left\{\begin{matrix} W = \sum_{i}\alpha_i y_i X_i \\ b = y_i - W^T X_i, \; \forall i \in \{i: 0 < \alpha_i < C\} \end{matrix}\right.$ 求得W、b

yeqiustu

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
SVM优化--对偶

在SVM--基本思想中讲到SVM的优化目标，这里再贴出来，如下：这是一个二次规划问题，虽然可以直接应用KKT条件进行求解，但是还是太过复杂，不易求解；首先对该问题进行一下转化，设其中、、，，也即有，参照KKT的证明，易知，当时，，等式右边是等式左边的对偶最终，SVM的优化目标等价于先求，即将这些代入上公式，即有当时，，有当时...
复制链接

扫一扫

专栏目录