Lecture11: （增强）拉格朗日松弛技术

最新推荐文章于 2024-04-19 16:28:30 发布

运筹码仓

最新推荐文章于 2024-04-19 16:28:30 发布

阅读量4.5k

点赞数 2

分类专栏：电力系统中的高级优化和博弈论文章标签：算法线性代数

本文链接：https://blog.csdn.net/weixin_45624300/article/details/122340555

版权

电力系统中的高级优化和博弈论专栏收录该内容

17 篇文章 154 订阅

订阅专栏

当你的问题中包含复杂约束时，你可能需要该方法。

本节目标：

阐述拉格朗日松弛、增强拉格朗日松弛和交替方向乘子技术(Explain the functioning of Lagrangian relaxation (LR), augmented Lagrangian relaxation (ALR), and alternating direction method of multipliers (ADMM))
实现一个示例性案例
应用于处理复杂约束的分解技术有以下几个：

拉格朗日松弛：标准的或经典的拉格朗日松弛，或者对偶分解；为什么是对偶分解呢？因为我们迭代的是对偶变量，而在benders分解中，我们迭代的是原始变量。
增强拉格朗日松弛：辅助问题法则(Auxiliary problem principle (APP))、交替方向乘子方法(Alternating direction method of multipliers (ADMM))
丹尼斯沃夫分解（DW分解）

Andrianesis, P., Caramanis, M. C., & Hogan, W. W. (2020). Computation of Convex Hull Prices in Electricity Markets with Non-Convexities using Dantzig-Wolfe Decomposition. arXiv preprint arXiv:2012.13331.

复杂约束一旦被放松，我们便可以将原问题分解为基于代理的子问题，或分布式问题。

Conejo, A. J., Castillo, E., Minguez, R., & Garcia-Bertrand, R. (2006). Decomposition techniques in mathematical programming: engineering and science applications. Springer Science & Business Media.
Boyd, S., Parikh, N., & Chu, E. (2011). Distributed optimization and statistical learning via the alternating direction method of multipliers. Now Publishers Inc.

1 理论背景

LR技术首先用来处理一阶导数连续且包含连续变量的优化问题；后来被成功应用到包含二进制变量的优化问题。
LR技术在处理复杂约束数目较少的问题时，是有效率的；作为一种启发式方法，它在处理包含二进制变量的模型也是OK的。
LR技术在90年代，已经被拓展用来处理 unit commitment problems (complicating constrains are balance constraints and ramping constraints).
除了凸性，原问题的目标函数应该是平滑的，即必须一阶可微，也就意味着必须有一阶导数连续。如果目标函数是二次的，且保证凸性，LR可以保证得到全局最优解。
如果目标函数是线性的，LR程序不能保证收敛。对于线性目标函数，一个可选的方案是增强拉格朗日松弛技术。

2 数学分析

对应的拉格朗日对偶函数为：

显然等价问题是不可分解的；我们可以通过固定对偶变量来松弛等价问题：

LR技术是一种系统的迭代方法，它在每一次迭代中不断更新对偶变量。可用的更新对偶变量的技术有：

次梯度方法 Subgradient method
割平面方法 Cutting plane method
捆绑方法 Bundle method
可信域方法 Trust region method

Redondo, N. J., & Conejo, A. J. (1999). Short-term hydro-thermal coordination by Lagrangian relaxation: solution of the dual problem. IEEE transactions on power systems, 14(1), 89-95.

3 LR计算案例

3.1 分解

3.2 算法

4 ALR计算案例

4.1 主要思想

ALR既可以像LR一样处理二次目标函数；也可以处理线性目标函数。

ALR和LR的主要区别在于：在子问题中添加一个惩罚项；如果是不等式，我们不能直接使用ADMM，我们需要先加入辅助变量使其变成等式，之后在使用ADMM。

ALR的主要思想是：确保最佳点不改变，找到线性函数对应的二次函数。如果原问题是凸的，这种转化等价的。

Is the problem above decomposed for given $\bar{\lambda}$ ? No, due to product of and in the penalty term!

可选的处理策略是：

Auxiliary problem principle (APP)
Alternating direction method of multipliers (ADMM)

这里我们讨论交替方向乘子方法

4.2 ADMM

交替的意思是，交替的固定 x 和 y.

ADMM directly fixes each variable to its value obtained in the previous iteration, and decomposes the ALR to subproblems.

收敛性证明：

For convex problems, under some certain assumptions, there is a proof of convergence
to global optimal point. There is also an analytical investigation of the convergence rate.
For non‐convex problems, under some certain assumptions, there is a proof of convergence to local (stationary) optimal point.

Boyd, S., Parikh, N., & Chu, E. (2011). Distributed optimization and statistical learning via the alternating direction method of multipliers. Now Publishers Inc.
Hong, M., & Luo, Z. Q. (2017). On the linear convergence of the alternating direction method of multipliers. Mathematical Programming, 162(1-2), 165-199.
Wang, Y., Yin, W., & Zeng, J. (2019). Global convergence of ADMM in nonconvex nonsmooth optimization. Journal of Scientific Computing, 78(1), 29-63.
Hong, M., Luo, Z. Q., & Razaviyayn, M. (2016). Convergence analysis of alternating direction method of multipliers for a family of nonconvex problems. SIAM Journal on Optimization, 26(1), 337-364.
Sun, K., & Sun, X. A. (2019). A two-level distributed algorithm for nonconvex constrained optimization. arXiv preprint arXiv:1902.07654.

回到我们的问题，ADMM的工作原理为：

算法：

in each iteration, solve each subproblem and then update dual variable untill convergnce, i.e., when the primal residual (i.e., the value of penalty) is negligable, and therefore the value of dual variable does not change anymore.