YoloV8改进策略：来自谷歌最新的优化器——Lion，在速度和精度上双双提升。Adam表示年轻人不讲武德

摘要

在大家还沉浸在ChatGPT和SAM这些大模型领域的时候，谷歌最新的优化器已经把BASIC-L，送上了第一。

按照论文的说法，使用Lion后，普遍有2%的涨幅。太吊了！！！

这篇文章我们将Lion引入YoloV8。首先是论文翻译，接下来，告诉大家如何将LIon加入到YoloV8，已经改进过程中遇到的问题。然后，比对结果。最后，做出总结。

论文翻译

摘要

本文提出一种将算法发现表述为程序搜索的方法，并将其应用于发现用于深度神经网络训练的优化算法。利用高效的搜索技术来探索无限和稀疏的程序空间。为弥合代理任务和目标任务之间的巨大泛化差距，还引入了程序选择和简化策略。该方法发现了一种简单有效的优化算法Lion (evolutionary Sign Momentum)。它比Adam更节省内存，因为它只记录动量。与自适应优化器不同，通过符号操作计算的每个参数的更新具有相同的幅度。将Lion与广泛使用的优化器(如Adam和adfactor)进行了比较，用于在不同任务上训练各种模型。在图像分类方面，Lion将ViT在ImageNet上的准确率提高了2%，并在JFT上节省了高达5倍的预训练计算。在视觉-语言对比学习方面，在ImageNet上实现了88.3%的零样本和91.1%的微调精度，分别超过了之前的最佳结果2%和0.1%。在扩散模型上，Lion通过获得更好的FID分数并将训练计算量减少了2.3倍，超越了Adam。在自回归、