-
引言
优化问题,是生活中常见问题,比如建筑美学中黄金比例1.618可以取得最佳的视觉效果;建筑实用角度来看古堡大都修建成原型外观,也是因为圆形比其他形状在等周长下可用面积最大1。
现实中的优化,大多会拖个尾巴(限制条件),求解约束下的优化,可成为约束极值问题。拉格朗日乘子法是其中一种解决方案。
-
优化问题数学分类
通常,需要求解的优化问题有如下几类:
-
无约束优化问题,写为
m i n    f ( x ) min\; f(x) minf(x)
解决方案:求导 -
有等式约束的优化问题,写为
m i n    f ( x ) s . t .    h i ( x ) = 0 ;        i = 1 , 2 , . . . , n min \; f(x)\\s.t. \; h_i(x)=0;\;\;\; i=1,2,...,n minf(x)s.t.hi(x)=0;i=1,2,...,n
解决方案:拉格朗日乘子法(Lagrange Multipliers Method)
L ( a , x ) = f ( x ) + a ∗ h ( x ) L(a,x)=f(x)+a*h(x) L(a,x)=f(x)+a∗h(x) -
有不等式约束的优化问题,写为
m i n    f ( x ) s . t .    h i ( x ) = 1 , 2 , . . . , n g i ( x ) < = 0 ;        i = 1 , 2 , . . . , m min \; f(x)\\ s.t. \; h_i(x)=1,2,...,n \\ g_i(x)<=0;\;\;\; i=1,2,...,m minf(x)s.t.hi(x)=1,2,...,ngi(x)<=0;i=1,2,...,m
解决方案:KKT条件下的拉格朗日乘子法。
L ( x , w , γ ) = f ( x ) + w T h ( x ) + γ T g ( x ) L(x,w,\gamma)=f(x)+w^Th(x)+\gamma^Tg(x) L(x,w,γ)=f(x)+wTh(x)+γTg(x)
K K T KKT KKT条件要求,所得 x x x需要满足- L ( x , w , γ ) L(x,w,\gamma) L(x,w,γ)对 x x x求导为0
- h ( x ) = 0 h(x)=0 h(x)=0
- a ∗ g ( x ) = 0 a*g(x)=0 a∗g(x)=0
-
-
Reference
王关琳;优化问题中新的增广拉格朗日乘子法;河南科技大学 (错误比较多) ↩︎