约束优化&拉格朗日乘子法&拉格朗日对偶解法的关系

本文梳理一些约束优化里问题常见的一些拉格朗日乘子法与拉格朗日对偶的关系。经常看到一些错误说法：就是拉格朗日对偶解法就是针对不等式约束优化问题的拉格朗日乘子法，实际上并不是。

1、约束优化问题

约束优化问题，分为等式约束优化问题和不等式约束优化问题。经常利用拉格朗日乘子法求解。

2、等式约束优化问题

等式约束优化问题相对简单，高等数学中一般都有拉格朗日乘子法求极值的介绍，这里不做过多介绍。
$f(x),g_i(x)$连续可微。
$\underset{x}{\min }f(x)$
$s.t.g_i(x)=0,i=1,...,n.$

3、不等式约束优化问题

$f(x),g_i(x),h_j(x)$连续可微。
$\underset{x}{\min }f(x)$
$s.t.g_i(x)\le 0,i=1,...,k.$
$h_j(x)=0,j=1,...,l.$
该不等约束优化问题可以用拉格朗日乘子法求解。

引入拉格朗日乘子后，
方法（1）可以利用KKT条件直接求解原问题。需要注意：最优解一定满足KKT条件，满足KKT条件的不一定是最优解。
方法（2）如果该不等式约束优化问题进一步满足强对偶关系（Slater条件，针对一般的优化问题，强对偶关系通常不成立），可以将其转化为对偶问题求解（特殊解法）。

Slater条件定理：

$f(x)$，$g_i(x)$为凸函数，$h_j(x)$为仿射函数，且可行域内存在一点使得不等式约束严格成立，则强对偶性成立，也就是可以通过求解对偶问题的解来求解原问题的解。

比如SVM，最大熵等模型满足Slater条件，因此可以转化为对偶问题求解。

[1]https://www.jiqizhixin.com/articles/2019-02-12-10
[2]https://zhuanlan.zhihu.com/p/114574438
[3]https://zhuanlan.zhihu.com/p/46944722
[4]https://zhuanlan.zhihu.com/p/55532322