求解约束最优化问题常常采用拉格朗日求解,利用朗格朗日对偶性将原问题转化为其对偶问题,通过求解对偶问题得到原问题解。
1.原始问题:
假设f(x),c(x)是连续可微函数,考虑其约束最优解:
引入拉格朗日函数:
考虑x的函数,下标p表示原始问题:
对于原始问题,若x不满足约束条件,级c(x)>0,则取对应a极大,则原始问题得到无穷大;若x满足约束条件,则
考虑极小化问题:
2.对偶问题
定义:
再考虑极大化,即:
3.对偶与原始问题的关系
若原始问题和对偶问题都有最优解,则
证明:
由于原始问题和对偶问题均有最优值,则
定理:x*,a*是原始问题和对偶问题的可行解,并且最优值相同,则x*,a*分别是原始问题和对偶问题的最优解
定理:假设f(x),c(x)是凸函数,并且x满足不等式约束,则x*和a*分别是原始问题和对偶问题的解的充分必要条件是x*,a*满足KKT条件:
朗格朗日对偶性应用
- MaxEnt 最大熵模型
最大熵模型是由最大熵理论推导,是概率模型学习的准则,最大熵模型认为,在所有的概率模型中,熵最大的模型是最好的模型。最大熵模型认为要选择的模型必须首先满足约束条件。最大熵模型表示对于给定的输入x以条件概率p(y|x)输出y。给定一个数据集,可以根据后验概率确定:
其中v(x)表示训练集中样本x出现频数,N表示样本总数。
用特征函数表示f(x,y)描述输入x和输出y之间的一个事实,其定义为
f(x,y)=1 x,y满足某一事实 ;否则 f(x,y)=0
f(x,y)特征函数关于后验分布的期望:
f(x,y)特征函数关于先验分布的期望:
假设连个期望相等,则
最大化条件熵,最大熵模型的学习如下:
然后采用拉格朗日对偶问题求解。
2.SVM模型
svm模型如下:
然后采用朗格朗日对偶问题求解。