有约束条件的优化问题求解推导

最新推荐文章于 2024-07-06 14:03:10 发布

HangGaoao

最新推荐文章于 2024-07-06 14:03:10 发布

阅读量3.9k

点赞数 1

文章标签：算法

本文链接：https://blog.csdn.net/hangsyt108/article/details/105286802

版权

以SVM优化问题为例，其回归函数（分类平面）为： $y_{i}=w^{\top} \varphi\left(\vec{x}_{i}\right)+b$

优化问题的目标函数为：

$\min _{w, \xi}\left[\frac{1}{2} w^{\top} w+C \sum_{i=1}^{k} \xi_{i}\right]$

SVM中的分类问题和预测问题的区别在于约束条件的不同。

在分类问题中，约束条件为： $\begin{array}{l} \left(w^{\top} x_{i}+b\right) y_{i} \geq 1-\xi_{i} ; \quad \xi_{i} \geqslant 0 \end{array}$ ；而在预测问题中，约束条件为（以Vapnik $\varepsilon$ 不敏感损失函数为例）：

$\begin{array}{c} y_{i}-w^T \varphi\left(X_{i}\right)-b \leq \varepsilon+\xi_{i}^{*} \\ w^T \varphi\left(X_{i}\right)+b-y_{i} \leq \varepsilon+\xi_{i}\\ \xi_{i}, \xi_{i}^{*} \geq 0 \end{array}$

下面附上利用拉格朗日对偶方程求解两种约束条件对应的优化问题的推导过程。

一、预测问题的推导过程：

在回归问题中，SVM算法的目标是通过非线性映射 $\varphi(x)$ 将 $G=\left\{\left(x_{i}, y_{i}\right)\right\}_{i=1}^{N}$ 映射到更高维的空间，找到能最好近似输入的函数 g(x) 。该回归函数为：

$y_{i}=g(x)=w^{\top} \varphi\left(\vec{x}_{i}\right)+b$

利用vapnik提出的ε不敏感损失函数，优化问题的目标函数为：

$\frac{1}{2} w^{\top} w+c \cdot \sum_{i=1}\left(\xi_{i}^{*}+\xi_{i}\right)$ ，

约束条件为：

$\begin{aligned} &y_{i}-w^{\top} \varphi\left(x_{i}\right)-b-\varepsilon-\xi_{i}^{*} \leq 0\\ &w^{\top} \varphi\left(x_{i}\right)+b-y_{i}-\varepsilon-\xi_{i} \leq 0\\ &\xi i, \xi i^{*} \geq 0 \end{aligned}$

利用拉格朗日对偶方程：

$\begin{aligned} L\left(w, b, \xi_{i},\xi_{i}^{*}, \alpha, \beta, \gamma, \eta\right) &=\frac{1}{2} w^{\top} w+c \Sigma\left(\xi_{i}^{*}+\xi_{i}\right) +\sum \alpha_{i}\left(y_{i}-w^{\top} \varphi_{\left(x_{i}\right)}-b-\varepsilon-\xi_{i}^{*}\right)\\&+\sum \beta_{i}\left(w^{\top} \varphi_{\left(x_{i}\right)}+b-y_{i}- \varepsilon- \xi_{i}\right) \\ &-{\sum}\gamma_{i} \xi_{i}-\sum \eta_{i} \xi_{i}^{*} \end{aligned}$

其中 $\alpha,\beta,\gamma,\eta$ 均为拉格朗日乘子。 SVM的最优解为 $\max _{\alpha, \beta,\gamma,\eta}\left[\operatorname{inf} _{w,b,\xi_i,\xi_i^*} L\right]$ 对应的值。

根据L函数对的偏导数:

$\left\{\begin{array}{l} \frac{\partial L}{\partial w}=w-\sum\alpha_{i} \varphi\left(x_{i}\right)+\sum \beta_{i} \varphi_{\left(x_{i}\right)}=0 \Rightarrow w=\sum \left(\alpha_{i}-\beta_i\right) \varphi_{\left(x_{i}\right)}\\ \frac{\partial L}{\partial b}=-\sum \alpha_{i}+\sum\beta_{i}=0 \Rightarrow \sum \alpha_{i}=\sum\beta_{i} \\ \frac{\partial L}{\partial\xi_{i}}=-c-\beta_{i}-\gamma_{i}=0 \quad \Rightarrow \quad c=\beta_{i}+\gamma_{i} \\ \frac{\partial L}{\partial \xi_{i}^{*}}=c-\alpha_i-\eta_{i}=0\quad \Rightarrow \quad c=\alpha_{i}+\eta_{i} \end{array}\right.$ ，

将 $\operatorname{inf} _{w,b,\xi_i,\xi_i^*} L$ 带入目标函数 $\max _{\alpha, \beta,\gamma,\eta}\left[\operatorname{inf} _{w,b,\xi_i,\xi_i^*} L\right]$ 中，得到w,b的估计值，进而得到预测的回归函数值：

$\max _{\alpha, \beta}\left[-\frac{1}{2} \sum_{i, j}\left(\alpha_{i}-\beta_{i}\right)\left(\alpha_{j}-\beta_{j}\right) \varphi\left(x_{i}^{\top}\right) \varphi\left(x_{j}\right)+\sum \alpha_{i}\left(y_{i}-\varepsilon\right)-\sum \beta_{i}\left(y_{i}+\varepsilon\right)\right]$

$\hat{w}=\sum_{i}\left(\alpha_{i}-\beta_{i}\right) \varphi\left(x_{i}\right) \quad \hat{b}=y_{i}-\left(\sum_{i}\left(\alpha_{i}-\beta_{i}\right) \varphi\left({x}_{i}^{\top}\right)\right) \varphi\left(x_{i}\right)$

对于二分类过程，拉格朗日对偶方程：

$\begin{aligned} &L(w, b, \xi, \alpha, \beta)=\frac{1}{2} w^{\top} w+c \cdot \sum_{i=1}^{n} \xi_{i}-\sum_{i=1}^{n} \alpha_{i}\left(\left(w^{\top} x_{i}+b\right) y_{i}-1+\xi_{i}\right)-\sum_{i=1}^n \beta_i \xi_{i} \end{aligned}$