minimax & report

Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning

摘要：此文开发了一个单循环和快速AltGDA型算法，利用近端梯度更新和动量加速来解决

正则化非凸极大极小优化问题

介绍：

其他加速GDA型算法涉及complex nested-loop structures还需要function smoothing with many fine-tuned hyper-parameters（使用许多微调的超参数进行函数平滑），这是不实用的。引出主角：alternating-GDA (AltGDA) algorithm

GDA是这么更新的：

而AltGDA再更新y时用的是更新后的x，好处是：收敛的更快

 alternating-GDA (AltGDA) algorithm计算复杂度高，本文结合了一下动量

我们的算法把适用在非凸极小化问题中的heavy-ball and Nesterov’s momentum技术拓展到非凸极小极大优化。

As the two proximal gradient steps of proximal-AltGDA are used to solve two different types of optimization problems, namely, the