kkt条件 弱对偶 强对偶_机器学习笔记(8)-对偶关系和KKT条件

机器学习笔记(8)-对偶关系和KKT条件

之前介绍了支持向量机SVM硬间隔和软间隔的推导过程，不熟悉的小伙伴可以查看《机器学习笔记(7)支持向量机》的内容，但是在求解中我们默认了强对偶关系和KKT条件，这一节就来理解并证明描述下。

对偶关系

先来看下结论，当满足对偶关系时，默认是符合弱对偶关系的，当满足强对偶关系时，不等式取等号，我们现来用一般形式给出原问题：

\[\begin{aligned}

\left\{\begin{matrix}

\underset{\theta}{min}\;f(\theta)\\

s.t.\;m_{i}(\theta)\leq 0,\;i=1,2,\cdots ,m\\

s.t.\;n_{j}(\theta)=0,\;j=1,2,\cdots ,n

\end{matrix}\right.

\end{aligned}

\]

接下来我们采用拉格朗日乘子法将带参数约束问题转化为不带参数约束的问题：

\[\mathcal{L}(\theta,\lambda,\eta)=f(\theta)+\sum_{i=1}^{n}\lambda_{i}m_{i}+\sum_{j=1}^{m}\eta_{i}n_{j}(\theta)

\]

代入得到：

\[\begin{aligned}

\left\{\begin{matrix}

\underset{\theta}{min}\;\underset{\lambda,\eta}{max}\;\mathcal{L}(\theta,\lambda,\eta)\\

s.t.\;\lambda_{i}\geq 0\;i=1,2,\cdots ,n

\end{matrix}\right.

\end{aligned}

\]

拉格朗日乘子法的证明我们在SVM的推导中已经讲过了

弱对偶关系证明

接下来我们先证明弱对偶关系：

\[\begin{equation}

\underset{\theta}{min}\;\underset{\lambda,\eta}{max}\;\mathcal{L}(\theta,\lambda,\eta)\geq \underset{\lambda,\eta}{max}\;\underset{\theta}{min}\;\mathcal{L}(\theta,\lambda,\eta)