一种基于牛顿-cg的增广拉格朗日方法来求解非凸等式约束优化的二阶平稳点(高概率非凸)

摘要研究了在已知近似可行点的情况下，寻找非凸等式约束优化的二阶平稳点（SOSP）。特别地，我们首先提出了一种新的纽顿CG方法来寻找无约束优化的近似SOSP，并表明它比牛顿-CG方法[56]具有明显更好的复杂性。然后，我们提出了一种基于牛顿-cg的增强拉格朗日（AL）方法来寻找非凸等式约束优化的近似SOSP，其中提出的牛顿-cg方法作为子问题求解器。我们表明，在广义线性独立约束条件（GLICQ），我们的方法享有总内部迭代的复杂性o（−7/2）和操作复杂性的o（−7/2分钟{n，−3/4}）找到一个（√）-SOSP非凸平等约束优化高概率，明显优于近端方法[60]。此外，我们还证明了当GLICQ不成立时，它的总内部迭代复杂度为e O（o−11/2），操作复杂度为e O（o−11/2min{n，o−5/4}）。据我们所知，所有的t

非凸等式约束优化、二阶平稳点、增广拉格朗日法、牛顿-共轭梯度法、迭代复杂度、操作复杂度

本文研究了非凸等式约束优化问题

其中f： R n→R和c： R n→Rm是两次连续可微的，我们假设问题(1)至少有一个最优解。由于(1)是一个非凸优化问题，它可能有许多局部但非全局的极小化器，并且找到它的全局极小化器通常是np困难的。在实践中，通常会发现它的一个一阶平稳点（FOSP）。然而，仅仅是一个FOSP有时可能不符合我们的需要，因此需要寻找一个二阶平稳点（SOSP）。例如，在线性半定规划（SDP）的背景下，解决它的一个强大的方法是通过求解一个等价的非凸等式约束优化问题[17,18]。在[18,15]中表明，在一些温和的条件下，后一个问题的SOSP可以产生线性SDP的最优解，而单纯的FOSP通常不能。因此，找到一个问题(1)的SOSP是很重要的。

近年来，人们开发了许多具有复杂性保证的方法来寻找几种非凸优化的近似SOSP。例如，三次正则化牛顿法[52,25,1,22]、加速梯度法[23,24]、信任区域法[34,35,50]、二次正则化法[12]、二阶线搜索法[57]和牛顿-共轭梯度法（Newton-CG）[56]被开发用于非凸无约束优化。此外，还提出了具有符号约束的非凸优化方法的内点方法[8]和对数势格方法[54]。将内点方法[8]推广到[38]中，以求解带有符号约束和附加线性等式约束的非凸优化问题。此外，在[47]中提出了一种具有线性不等式约束的非凸优化的投影梯度下降方法。建立了这些方法寻找近似SOSP的迭代复杂性。此外，通过梯度计算和矩阵向量生产等基本操作的量来衡量操作的复杂度

提出了信任区域方法[21,33]、序列二次规划方法[14]、二相方法[9,30,32]和增广拉格朗日（AL）型方法[4,10,58,60]来寻找问题(1)的SOSP。然而，只有少数人有找到(1)的近似SOSP的复杂性保证。特别是，不精确的AL方法[58]在对二阶预言器的调用数量方面具有最坏情况的复杂度。然而，它的操作复杂性，由基本操作的数量，如梯度评估和黑森向量产品，是未知的。据我们所知，[60]中的近端AL方法似乎是唯一现有的在基本操作中寻找(1)的方法。在该方法中，给定一个迭代xk和第k次迭代时的乘子估计λk，通过寻找近似AL子问题的近似随机SOSP得到下一个迭代xk+1：

对于一些合适的正ρ和β，使用[56]中提出的牛顿-cg方法，其中L为(1)的AL函数，定义为