数值优化（Numerical Optimization）学习系列-惩罚和增广拉格朗日方法（Augmented Lagrangian Methods）

概述

求解带约束的最优化问题，一类很重要的方法就是将约束添加到目标函数中，从而转换为一系列子问题进行求解，最终逼近最优解。关键问题是如何将约束进行转换。本节主要介绍
1. 二次惩罚方法
2. 非平滑惩罚方法
3. 增广拉格朗日方法

二次惩罚方法

动机

带约束问题如果转换为目标函数加上一个对约束的惩罚项，则问题转换为一个无约束问题。
转换后的问题可以通过惩罚项的系数进行控制，一个比较常见的惩罚函数就是二次惩罚。

等式约束的最优化问题

等式约束问题可以表示为

$$min \ f(x) s.t \ c_i(x)=0,\; i \in \mathcal E$$ 添加一个二次惩罚项，则有 $$Q(x;\mu)=f(x) + \frac \mu 2\sum_{i \in \mathcal E}c_i^2(x)$$ 其中 $\mu$是惩罚参数，直观上只要增加惩罚参数的值就可以逼近原始问题的最优解。
在实际中，对于某个惩罚参数 $\mu$只要几步无约束最优化问题，不需要寻找最优解。

一般化约束最优化问题

一般化约束最优化问题表示为

minf(x)s.tci(x)=0 i∈E