Accelerated Proximal Alternating Gradient-Descent-Ascent for Nonconvex Minimax Machine Learning
摘要:此文开发了一个单循环和快速AltGDA型算法,利用近端梯度更新和动量加速来解决
正则化非凸极大极小优化问题
介绍:
其他加速GDA型算法涉及complex nested-loop structures还需要function smoothing with many fine-tuned hyper-parameters(使用许多微调的超参数进行函数平滑),这是不实用的。引出主角:alternating-GDA (AltGDA) algorithm
GDA是这么更新的:
而AltGDA再更新y时用的是更新后的x,好处是:收敛的更快
alternating-GDA (AltGDA) algorithm计算复杂度高,本文结合了一下动量
我们的算法把适用在非凸极小化问题中的heavy-ball and Nesterov’s momentum技术拓展到非凸极小极大优化。
As the two proximal gradient steps of proximal-AltGDA are used to solve two different types of optimization problems, namely, the