Lion优化器试验笔记

目录

1 简单、内存高效、运行速度更快

超参设置

官方 pytorch代码：

自己的试验结果：

---

以下内置转自： Google Brain新提出的优化器“Lion”，效果要比Adam(W)更好 - 知乎

1 简单、内存高效、运行速度更快

与 AdamW 和各种自适应优化器需要同时保存一阶和二阶矩相比，Lion 只需要动量，将额外的内存占用减半。 这在训练大型模型和大Batch size时很有用。 例如，AdamW 需要至少 16 个 TPU V4 芯片来训练图像大小为 224、批量大小为 4,096 的 ViT-B/16，而 Lion 只需要8个。

另一个显而易见的好处是，由于 Lion 的简单性，Lion 在我们的实验中具有更快的运行时间（step/s），通常比 AdamW 和 Adafactor 提速 2-15%，具体取决于任务、代码库和硬件。

超参设置

• Lion 很简单，与 AdamW 和 Adafactor 相比，超参数更少，因为它不需要 ϵ 和因式分解相关的参数。 为了确保公平比较，我们使用对数标度为 AdamW (Adafactor) 和我们的 Lion 调整峰值学习率 lr 和解耦权重衰