Pointnet++改进优化器系列：全网首发Lion优化器 |即插即用，实现有效涨点

简介：
1.该教程提供大量的首发改进的方式，降低上手难度，多种结构改进，助力寻找创新点！
2.本篇文章对Pointnet++特征提取模块进行改进，加入Lion优化器，提升性能。
3.专栏持续更新，紧随最新的研究内容。

目录

1.理论介绍

2.修改步骤

2.1 步骤一

         2.2 步骤二

         2.3 步骤三

---

1.理论介绍

提出了一种将算法发现表述为程序搜索的方法，并将其应用于深度神经网络训练优化算法的发现。我们利用高效的搜索技术来探索无限和稀疏的程序空间。为了弥合代理任务和目标任务之间的巨大泛化差距，我们还引入了程序选择和简化策略。我们的方法发现了一个简单有效的优化算法，Lion(进化符号动量)。它比Adam更节省内存，因为它只跟踪动量。与自适应优化器不同，它的更新对于通过符号操作计算的每个参数具有相同的幅度。我们将Lion与广泛使用的优化器(如Adam和Adafactor)进行比较，以在不同任务上训练各种模型。在图像分类方面，Lion在ImageNet上将ViT的准确率提高了2%，并在JFT上节省了高达5倍的预训练计算。在视觉语言对比学习方面，我们在ImageNet上实现了88.3%的零射击和91.1%的微调准确率，分别比之前的最佳结果高出2%和0.1%。在扩散模型上，Lion通