约束优化算法(1) Lagrangian乘子法 #notebook

本文来自 矩阵分析与应用，第二版。
约束优化算法的标准处理方式是将其转化为无约束优化算法，有三种常见的转化方式，分别是lagrangian乘子法，罚函数法以及增广lagrangian乘子法（lagrangian乘子法+罚函数法）。
下面分别介绍拉格朗日乘子法。

拉格朗日乘子法

考虑等式约束的凸优化问题
$$\min f(\mathbf{x})\text{subject to }A\mathbf{x}=\mathbf{b}\text{\hspace{1em}(1)}$$
其中$x\in {\mathbb{R}}^n,A\in {\mathbb{R}}^{m\times n}$,并且目标函数$f:{\mathbb{R}}^n\to \mathbb{R}$是凸函数。

lagrangian乘子法将式(1)变成无约束最小化问题，其lagrangian目标函数为
$$L(x,\lambda )=f(x)+{\lambda }^{\mathrm{T}}(Ax-b)\text{\hspace{1em}(2)}$$
原始优化问题(1)的对偶目标函数为
$$g(\lambda )=\underset{\mathbf{x}}{\inf }L(\mathbf{x},\mathbf{\lambda })=-f^{\star }(-{\mathbf{A}}^{\mathrm{T}}\mathbf{\lambda })-{\mathbf{b}}^{\mathrm{T}}\mathbf{\lambda }\text{\hspace{1em}(3)}$$
其中$\lambda$为对偶变量或者称为Lagrangian乘子向量，$f^{\star }$是$f$的凸共轭函数。

− sup ⁡ x ∈ D f ( x ) = inf ⁡ x ∈ D { − f ( x ) } -\sup_{x\in D}f(x)=\inf_{x\in D}\{-f(x)\} −x∈Dsup​f(x)=x∈Dinf​{−f(x)}

借助lagrangian乘子法，原始等式约束极小化式(1)变成对偶极大化问题
$$\underset{\lambda \in {\mathbb{R}}^m}{\max }g(\lambda )=-f^{\ast }(-A^{\mathrm{T}}\lambda )-b^{\mathrm{T}}\lambda \text{\hspace{1em}(4)}$$

假定强对偶性满足，则原始问题和对偶问题的最优解相同。此时，原始极小化问题式(1)的最优解点${\mathbf{x}}^{\ast }$即可由下式恢复
$${\mathbf{x}}^{\ast }=\underset{\mathbf{x}}{\mathrm{argmin}}L(\mathbf{x},{\mathbf{\lambda }}^{\star })\text{\hspace{1em}(5)}$$

在对偶上升法(dual ascent method)中，利用梯度上升法求解极大化问题式(4)。对偶上升法由两个步骤组成
$$\begin{array}{r}{\mathbf{x}}_{k+1}=\underset{\mathbf{x}}{\mathrm{argmin}}L(\mathbf{x},{\mathbf{\lambda }}_k)\\ {\mathbf{\lambda }}_{k+1}={\mathbf{\lambda }}_k+{\mu }_k(\mathbf{A}{\mathbf{x}}_{k+1}-\mathbf{b})\end{array}\text{\hspace{1em}(6)(7)}$$

其中式(6)为原始变量$\mathbf{x}$极小化步骤,式(7)则是对偶变量$\mathbf{\lambda }$更新步骤，其步长为${\mu }_k$

由于对偶变量$\lambda ⪰0$可解释为一价格向量，所以对偶变量的更新也叫价格上升(price ascent)或价格调整(price adjustment)步骤。价格上升的目的就是使收益函数$g({\mathbf{\lambda }}^k)$趋近于最大化。

对偶上升法包含有两层含义:

• 对偶变量$\mathbf{\lambda }$的更新采用梯度上升法
• 通过步长${\mu }_k$的适当选择，保证对偶目标函数的上升,即$g({\mathbf{\lambda }}^{k+1})>g({\mathbf{\lambda }}^k)$

思维导图

Convex Optimization with Equality Constraints
│
├── Lagrangian Multiplier Method
│   ├── Origin: Optimization Problem
│   │   └── min f(x) subject to Ax = b
│   │
│   └── Transform: Lagrangian Function
│       └── L(x,λ) = f(x) + λᵀ(Ax - b)
│
├── Dual Objective Function
│   └── Derive: Dual Function
│       └── g(λ) = inf_x L(x, λ)
│           └── = -f* (-Aᵀλ) - bᵀλ
│
├── Dual Ascent Method
│   ├── Objective: Maximize λ g(λ)
│   │   └── = -f* (-Aᵀλ) - bᵀλ
│   │
│   ├── Step 1: Minimize L(x, λk) for x
│   │   └── x(k+1) = arg min_x L(x, λk)
│   │
│   └── Step 2: Update λ
│       └── λ(k+1) = λk + μk(Ax(k+1) - b)
│           └── Price ascent or adjustment step
│
└── Strong Duality
    ├── Assumption: Strong Duality Satisfied
    │
    └── Recover Solution: Optimal x*
        └── x* = arg min_x L(x, λ*)

参考

• 矩阵分析与应用，第二版