-
1. 拉格朗日乘子法
1.1 无约束问题
无约束问题，定义为 minf(x)minf(x)， 对于凸函数而言，直接利用费马定理，[Math Processing Error]f′(x)=0，获得最优解；
1.2 等式约束问题
等式约束定义如下：
minf(x)s.t.g(x)=0minf(x)s.t.g(x)=0
现在利用拉格朗日乘子法，合并式子：
L(x,a)=f(x)+ag(x)L(x,a)=f(x)+ag(x)
对x,ax,a分别求偏导：
[Math Processing Error]∇xL(x,a)=f′(x)+ag′(x)=0∇aL(x,a)=g(x)=0
发现第二个式子刚好是其约束条件；为什么？
现在，我们在平面内投影函数，画出f(x)f(x)的等高线，以及g(x)=0g(x)=0的边界线；如图示：
蓝色虚线代表了f(x,y)f(x,y)的等高线；红色代表g(x,y)=c=0g(x,y)=c=0;
回顾：
1. 方向导数是各个方向上的导数
2. 偏导数连续才有梯度存在
3. 梯度的方向是方向导数中取到最大值的方向，梯度的值是方向导数的最大值(垂直方向)
假设f(x)f(x)的最小值在圆心处，即梯度方向向外；g(x,y)g(x,y)的梯度方向向下；
那么满足条件的值一定是两个函数相切处；如果相交，那么一定还存在一个等高线与红线相切，而且更小；在切点处，两个函数的梯度共线，即[Math Processing Error]f′(x)=−ag′(x),a<0；做简单的变换后：[Math Processing Error]f′(x)+ag′(x)=0，这就是第一个等式啦，同时还需要满足第二个式子；1.3 不等式约束问题（KTT条件）
不等式约束问题：
minf(x)s.t.g(x)=0h(x)<=0minf(x)s.t.g(x)=0h(x)<=0
引入拉格朗日函数：(KTT 条件)
L(x,a,b)=f(x)+ag(x)+bh(x)s.t.g(x)=0bh(x)=0L(x,a,b)=f(x)+ag(x)+bh(x)s.t.g(x)=0bh(x)=0
这样就将不等式约束变成了等式约束，偏导等于零即可求得最优参数；
minf(x)等价于minxmaxa,bL(x,a,b)minf(x)等价于minxmaxa,bL(x,a,b)
对偶变换后有：maxa,bminL(x,a,b)maxa,bminL(x,a,b)
因为h(x)<0h(x)<0，所以只有当bh(x)=0bh(x)=0时，L(x,a,b)L(x,a,b)才能取得最大值；否则不满足条件；所以KTT条件是minf(x)minf(x)的必要条件；补充：SVM 满足KTT条件:在边界上的点，有h(x)=0h(x)=0；非边界处，令b=0;
1.4 拉格朗日乘子法问题
当 目标函数的Hess矩阵不正定时（特征值不全为正，或者行列式不为正，那么此时的偏导为0处，并不能确定是否是极值点），所以无法求解；
例子：
求解{minf=2x2+y2−2xys.t.x+y=1{minf=2x2+y2−2xys.t.x+y=1
我们定义 L(x,y,λ)=f−λg(x)=2x2+y2−2xy−λ(x+y−1)L(x,y,λ)=f−λg(x)=2x2+y2−2xy−λ(x+y−1)
求偏导可得：{∂L∂x=4x−2y−λ=0∂L∂y=2y−2x−λ=0∂L∂λ=x−y−1=0{∂L∂x=4x−2y−λ=0∂L∂y=2y−2x−λ=0∂L∂λ=x−y−1=0
我们可以计算原目标函数的Hess矩阵： A=[∂2L∂x2∂2L∂y∂x∂2L∂x∂y∂2L∂y2]=[4−2−22]A=[∂2L∂x2∂2L∂x∂y∂2L∂y∂x∂2L∂y2]=[4−2−22]正定矩阵；
再看一个目标函数，方程稍作修改：
{minf=2x2+y2+3xys.t.x+y=1{minf=2x2+y2+3xys.t.x+y=1
直接求偏导，发现方程无解；
再看其Hess矩阵： B=[4332]B=[4332]非正定矩阵；
也就是说，在梯度为零处，我们无法判断是否是极值；2. 罚函数法
2.1 定义
罚函数法：根据约束条件的特点，构造出惩罚函数，然后加入到目标函数中，将其转化为无约束问题；新目标函数的解与原始目标函数解一致；
2.1.1 等式约束的罚函数法：
{minf(x)s.t.gi(x)=0{minf(x)s.t.gi(x)=0
我们引入一个增广目标函数：
minF(x,σ)=f(x)+σP(x)P(x)=gTgminF(x,σ)=f(x)+σP(x)P(x)=gTg
这里：σσ是惩罚因子，取很大的正数，F(x,σ)F(x,σ)是罚函数，σP(x)σP(x)是惩罚项；
惩罚项的性质：
1. 当xx为可行解时，P(x)=0P(x)=0，惩罚项为0；
2.当xx不在可行域内，此时σP(x)σP(x)会很大，那么求得minF(x,σ)minF(x,σ)必然有minf(x)minf(x)与minx,σ[σP(x)]minx,σ[σP(x)]同时成立；所以，当σσ充分大时，增广目标函数的最优值接近于原始问题的最优值；（σ→∞σ→∞，若原问题有解（F<∞F<∞），则会有g=0g=0）例如：
minf(x)=(x1+x2)2s.t.g(x)=x1+x2=cminf(x)=(x1+x2)2s.t.g(x)=x1+x2=c
构造罚函数为：minL(x,σ)=minf(x)+σ||g(x)||22minL(x,σ)=minf(x)+σ||g(x)||22
σσ设置的值较大；第一部分优化解，第二部分使得解在可行域内；
如果x不在可行域内，需要我们大步迭代；2.1.2 不等式约束的罚函数法：
{minf(x)s.t.hi(x)>=0{minf(x)s.t.hi(x)>=0
此时我们构造惩罚项；
（1）P(x)=∑[min(0,hi(x))]2P(x)=∑[min(0,hi(x))]2，可以简单分析出：当hi(x)>=0hi(x)>=0时P(x)=0P(x)=0，满足条件；当不在可行域内时，我们需要加大惩罚；
（2）P(x)=∑αih2iP(x)=∑αihi2,其中αi={0,hi>=01,hi<0αi={0,hi>=01,hi<02.1.3 一般形式的罚函数法：
{minf(x)s.t.gi(x)=0hi(x)>=0{minf(x)s.t.gi(x)=0hi(x)>=0
那么罚函数为：P(x)=∑[gi(x)]2+∑[min(0,hi(x))]2P(x)=∑[gi(x)]2+∑[min(0,hi(x))]2特别注意：惩罚因子是充分大的数，拉格朗日乘子是一个确定的参数，意义不一样；(当惩罚因子过大时，在求解极小值的过程中，Hess矩阵变成病态矩阵？)
2.2 外罚函数法
对不在可行域内，加大惩罚；上文介绍的就是外罚函数法；
2.3 内罚函数法
又称障碍函数法，内点法）；在可行域内筑起高墙，迫使值在可行域内，目标函数无法穿越；（只适用于不等式约束）
障碍函数一般取：（1）倒数 （2）对数
障碍因子为很小的正数
当xx趋于边界时，那么障碍函数趋于无穷；初始点在可行域内部；
在可行域内时，障碍函数值很小，增广目标函数与原始目标函数等价了；
3. 广义乘子法
3.1 等式约束广义乘子法：
{minf(x)s.t.gi(x)=0{minf(x)s.t.gi(x)=0
广义乘子法是拉格朗日乘子法与罚函数法的结合；
ϕ(x,λ,σ)=f(x)+λTg(x)+12σgT(x)g(x)ϕ(x,λ,σ)=f(x)+λTg(x)+12σgT(x)g(x)
在罚函数的基础上增加了乘子项，首先在σσ足够大的基础上，获得ϕϕ的极小值，然后在调整λλ获得原问题的最优解；
迭代公式如下：
梯度等于零：∇xϕ(xk,λk,σk)=0∇xϕ(xk,λk,σk)=0,即∇xf(xk)+λk∇xgT(xk)+σk∇xgT(xk)g(xk)=∇xf(xk)+∇xgT(xk)(σkg(xk)+λk)=0∇xf(xk)+λk∇xgT(xk)+σk∇xgT(xk)g(xk)=∇xf(xk)+∇xgT(xk)(σkg(xk)+λk)=0
令λk+1=σkg(xk)+λkλk+1=σkg(xk)+λk，则导出拉格朗日乘子法的一阶必要条件；
∇xf(xk)+λk+1∇g=0∇xf(xk)+λk+1∇g=0
计算方法：
(1)初始值设置：x,λ,σx,λ,σ
(2)计算梯度为0，获得当前最优值xkxk，然后判断是否终止；
(3)是否调整惩罚因子，获得σk+1σk+1
(4)计算λk+1=σkg(xk)+λkλk+1=σkg(xk)+λk3.2 不等式约束广义乘子法：
思想是：引入松弛变量，化不等式问题为等式约束；
{minf(x)s.t.hi(x)>=0→{minf(x)s.t.hi(x)=βi{minf(x)s.t.hi(x)>=0→{minf(x)s.t.hi(x)=βi
那么原始问题转化成：
minx,λϕ(x,λ,σ)=f(x)+λT(h(x)−β)+12σ(h(x)−β)T(h(x)−β)minx,λ,σ,βϕ(x,λ,σ,β)=f(x)+σ2((h+λσ−β)2−(λσ)2)β=1σmax{0,σh+λ}minx,λϕ(x,λ,σ)=f(x)+λT(h(x)−β)+12σ(h(x)−β)T(h(x)−β)minx,λ,σ,βϕ(x,λ,σ,β)=f(x)+σ2((h+λσ−β)2−(λσ)2)β=1σmax{0,σh+λ}
首先计算关于ββ的极小值；因为β>=0β>=0，上式是关于ββ的二次函数，开口向上，对称轴是h+λσh+λσ，β={0h+λσh+λσ<0h+λσ>=0→1σmax{0,σh+λ}β={0h+λσ<0h+λσh+λσ>=0→1σmax{0,σh+λ}
这样做的目的是：保证增广目标函数最优解近似于原始问题最优解；
分析：当σh+λ>=0σh+λ>=0时，β=h+λσβ=h+λσ，则ϕ(x,λ,σ)=f(x)−σ2(λσ)2=f(x)−λ22σ∇xϕ(x,λ,σ)=∇xf(x)ϕ(x,λ,σ)=f(x)−σ2(λσ)2=f(x)−λ22σ∇xϕ(x,λ,σ)=∇xf(x)
当σh+λ<0σh+λ<0时，β=0β=0，则ϕ(x,λ,σ)=f(x)−σ2(λσ)2+(σh+λ)22σ=f(x)−λ22σ+(σh+λ)22σ∇xϕ(x,λ,σ)=∇xf(x)+(σh+λ)∇h(x)ϕ(x,λ,σ)=f(x)−σ2(λσ)2+(σh+λ)22σ=f(x)−λ22σ+(σh+λ)22σ∇xϕ(x,λ,σ)=∇xf(x)+(σh+λ)∇h(x)
梯度为零计算最优解，发现刚好满足朗格朗日乘子法的必要条件；3.3 一般约束广义乘子法：
混合等式不等式约束法，计算即可。
扫一扫
5912
评论 2
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
