![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Lagrangian
老实人小李
这个作者很懒,什么都没留下…
展开
-
增广拉格朗日函数的三种统一公式
《Unified theory of augmented Lagrangian methods for constrained global optimization》增广拉格朗日函数统一为一下三种形式:LP(x,λ,c)={f(x)+1c∑i=1mP(cgi(x),λi),x∈Ωc(a)+∞,x∉Ωc(a)L_P(x,\lambda,c)=\left\{\begin{aligned}&f(x)+\frac{1}{c}\sum\limits_{i=1}^mP(cg_i(x),\lambda_i)原创 2020-09-27 17:23:50 · 2686 阅读 · 0 评论 -
为什需要采用增广拉格朗日函数
目标函数的可以转化为Lagrangian函数的最小,称之为对偶函数(dual function)d(λ)=minx∈XL(x,λ)(1)d(\lambda)=\min_{x\in X}L(x,\lambda) \tag{1}d(λ)=x∈XminL(x,λ)(1)众所周知,对于任意的可行 xxx 和 λ≥0\lambda\ge 0λ≥0 , the weak duality relation d(λ≤f(x))d(\lambda\le f(x))d(λ≤f(x)) 总是holds。拉格朗日对偶问原创 2020-09-26 14:51:13 · 1749 阅读 · 2 评论 -
四种经典的拉格朗日函数(Augmented Lagrangian Function)
1 The essentially quadratic augmented Lagrangian function令 ϕ:R→R\phi:\mathbb R\rightarrow \mathbb Rϕ:R→R 是二次连续可微的并且严格凸函数,满足 ϕ(0)=0,ϕ′(0)=0\phi(0)=0,\phi\prime(0)=0ϕ(0)=0,ϕ′(0)=0 定义:P(s,t)={ts+ϕ(s)if t+ϕ′(s)≥0minτ∈R[tτ+ϕ(τ)]otherwiseP(s,t)=\left \{ \be原创 2020-09-25 11:10:57 · 7536 阅读 · 0 评论 -
拉格朗日鞍点(Lagrange Saddle Point)
拉格朗日鞍点(Lagrange saddle point)是非线性规划问题中满足特定条件的点。对于非线性规划问题(NP),它的拉格朗日函数是指目标函数和约束条件中函数的如下线性组合:L(x,λ,μ)=f(x)+∑i=1pλigi(x)+∑j=1qμjhj(x)L(x,\lambda,\mu)=f(x)+\sum\limits_{i=1}^p\lambda_ig_i(x)+\sum\limits_{j=1}^q\mu_jh_j(x)L(x,λ,μ)=f(x)+i=1∑pλigi(x)+j=1∑q原创 2020-09-23 17:54:48 · 3590 阅读 · 1 评论 -
KKT条件(Karush-Kuhn-Tucker)及二阶充分条件(The second-order sufficiency condition)
maxf(x)s.t.g(x)≤0h(x)=0x‾≤x≤x‾(1)\begin{aligned}\max \quad&f(x) \tag{1}\\s.t. \quad&g(x)\le 0 \\ &h(x)=0 \\ &\underline x\le x\le \overline x\end{aligned} maxs.t.f(x)g(x)≤0h(x)=0x≤x≤x(1)其的KKT条件为−∇f(x)+∇g(x)原创 2020-09-09 17:55:16 · 2512 阅读 · 0 评论 -
增广拉格朗日函数(The augmented Lagrangian)及其KKT条件
增广拉格朗日方法在拉格朗日方法的基础上添加了二次惩罚项,从而使得转换后的问题能够更容易求解,不至于因条件数变大不好求。则转换后的问题为Ψ(x,λ,ν)=L(x,λ,ν)+α2∑j=1m(λjgj(x))2+β2∑i=1q(νihi(x))2\Psi(x,\lambda,\nu)=L(x,\lambda,\nu)+\frac{\alpha}{2}\sum_{j=1}^{m}({\lambda_jg_j(x)})^2+\frac{\beta}{2}\sum_{i=1}^{q}{(\nu_ih_i(x))^2原创 2020-09-04 10:36:12 · 3460 阅读 · 0 评论 -
KKT条件(Karush-Kuhn-Tucker)和投影定理(Projection Theorem)
KTT条件(The Karush-Kuhn-Tucker Condition)对于问题:minf(x)s.t.g(x)≤0h(x)=0l≤x≤u\begin{aligned}min \quad &f(x)\\s.t.\quad &g(x)\le 0\\&h(x)=0\\&l\le x\le u\end{aligned}mins.t.f(x)g(x)≤0h(x)=0l≤x≤u与问题关联的朗格朗日函数:L(x,λ,ν)=f(x)+λTg(x)+νTh(x原创 2020-09-03 23:01:14 · 1788 阅读 · 1 评论 -
拉格朗日乘子法(Lagrangian Multiplier Method)和KKT条件
设目标函数f(x),不等式约束约束为g(x),等式约束为h(x),那么可以将优化问题描述如下minf(X)s.t.hj(X)=0j=1,2,...,pgk(X)≤0k=1,2,...q\begin{aligned}\min \quad&f(X)\\s.t. \quad&h_j(X)=0\quad j=1,2,...,p\\ &g_k(X)\le 0 \quad k=1,2,...q\\\end{aligned} mins.t.f(X)hj(原创 2020-08-30 17:51:15 · 878 阅读 · 0 评论 -
增广拉格朗日函数的KKT条件及投影形式(projection form)
我的这篇博文中介绍了增广拉格朗日函数及KTT条件增广拉格朗日函数(The augmented Lagrangian)及其KTT条件这篇文章中介绍了Lagrangian的KTT条件和投影形式KKT条件和投影定理(Projection Theorem)下面我来介绍一下增广拉格朗日函数KTT条件的投影形式在LagrangianKTT条件中,投影形式为{PΩ(x−(∇f(x)+∇g(x)λ+∇h(x)ν))=x(λ+g(x))+=λh(x)=0\left\{\begin{aligned}&原创 2020-09-09 16:34:16 · 968 阅读 · 1 评论