罚函数法 Penalty Method

惩罚方法是求解约束优化问题的一类重要方法。惩罚方法通过用一系列（相对容易的）无约束惩罚子问题代替（复杂的）约束优化问题来寻找（复杂的）约束优化问题的解。罚子问题中的目标函数称为罚函数，它是在原约束问题的目标函数上加上一个罚项而形成的。惩罚项通常是对原问题的约束违反的度量乘以惩罚参数。这类算法中的一些重要算法包括二次罚函数法和增广拉格朗日法。

由于其简单性，罚函数法已被广泛研究并用于解决各种应用中的约束优化问题。与罚函数法相关的一个关键概念是罚函数的精确性。一个罚函数被称为精确的，如果具有足够大的罚参数的无约束罚问题最终将与原始约束问题共享相同的解。罚函数的精确性对减少和避免相应罚方法中的病态性起着至关重要的作用。因此，罚函数的选择对罚函数法的数值性能有着至关重要的影响，而罚函数的选择不同，一般会导致罚函数法的不同。在本小节中，我们不回顾经典的二次罚函数法，而是回顾[126]中开发的用于解决无线通信系统设计中整数/离散变量问题的最新罚函数法。