Symbolic Discovery of Optimization Algorithms

本文是对论文《Symbolic Discovery of Optimization Algorithms》的简要概述。该论文提出了一种将算法发现表述为程序搜索的方法，并将其应用于发现深度神经网络训练的优化算法。该方法利用高效的搜索技术来探索一个无限且稀疏的程序空间。为了弥合代理任务和目标任务之间的大的泛化差距，该方法还引入了程序选择和简化策略。该方法发现了一个简单而有效的优化算法，Lion（EvoLved Sign Momentum）。它比Adam更节省内存，因为它只跟踪动量。不同于自适应优化器，它的更新对每个参数都有相同的幅度，通过符号操作计算。该论文将Lion与广泛使用的优化器，如Adam和Adafactor，进行了比较，用于训练不同任务的各种模型。在图像分类方面，Lion将ViT在ImageNet上的准确率提高了2%，在JFT上节省了5倍的预训练计算。在视觉-语言对比学习方面，我们在ImageNet上达到了88.3%的零样本和91.1%的微调准确率，分别超过了之前最好的结果2%和0.1%。在扩散模型方面，Lion通过实现更好的FID分数和减少训练计算2.3倍，优于Adam。对于自回归、掩码语言建模和微调，Lion表现出与Adam相似或更好的性能。我们对Lion的分析揭示了它的性能提升随着训练批量大小的增长而增长。由于符号函数产生的更新的范数较大，它也需要比Adam更小的学习率。此外，我们还检验了Lion的局限性，并确定了它的改进很小或不具有统计意义的场景。Lion的实现已公开可用。

单位：谷歌（Quoc V. Le等人）, UCLA

代码：https://github.com/google/automl/tree/master/lion

论文：https://arxiv.org/abs/2302.0667

以下是Bing作为AI专家的评价：

• 这篇文章提出了一种将算法发现表达为程序搜索的方法，并将其应用于发现深度神经网络训练的优化算法。

• 该方法利用高效的搜索技术来探索一个无限且稀疏的程序空间。为了弥合代理任务和目标任务之间的大的泛化差距，该方法还引入了程序选择和简化策略。

• 该方法发现了一个简单而有效的优化算法，Lion（Evo L ved S i gn M o me n tum）。它比Adam更节省内存，因为它只跟踪动量。不同于自适应优化器，它的更新对每个参数都有相同的幅度，通过符号操作计算。

• 文章将Lion与广泛使用的优化器，如Adam和Adafactor，进行了比较，用于训练不同任务的各种模型。在图像分类方面，Lion将ViT在ImageNet上的准确率提高了2%，在JFT上节省了5倍的预训练计算。在视觉-语言对比学习方面，我们在ImageNet上达到了88.3%的零样本和91.1%的微调准确率，分别超过了之前最好的结果2%和0.1%。在扩散模型方面，Lion通过实现更好的FID分数和减少训练计算2.3倍，优于Adam。对于自回归、掩码语言建模和微调，Lion表现出与Adam相似或更好的性能。

• 文章对Lion进行了分析，发现它的性能提升随着训练批量大小的增加而增加。它也需要比Adam更小的学习率，因为由符号函数产生的更新具有更大的范数。此外，文章还检验了Lion的局限性，并确定了它的改进很小或不具有统计意义的情况。

优点：

• 文章提出了一种创新且通用的方法来发现优化算法，展示了符号发现作为开发机器学习和其他领域优化算法的强大工具的潜力。

• 文章发现了一个简单且有效的优化算法Lion，它在多个任务和模型上取得了令人印象深刻或与最先进水平相当的结果。

• 文章对Lion进行了详细且全面的分析，揭示了它与其他优化器之间的差异和联系，并探讨了它适用和不适用的场景。

缺点：

• 文章没有充分讨论程序搜索空间和搜索技术的设计原则和影响因素，也没有与其他相关工作进行比较。

• 文章没有给出Lion算法在不同任务上最佳超参数设置的指导或建议，也没有分析超参数对Lion性能的影响。

• 文章没有考虑Lion算法在不同硬件平台上运行时可能存在的效率问题或挑战。