简介:1.该教程提供大量的首发改进的方式,降低上手难度,多种结构改进,助力寻找创新点!
2.本篇文章对Pointnet++特征提取模块进行改进,加入
Lion优化器,提升性能。
3.专栏持续更新,紧随最新的研究内容。
目录
1.理论介绍
提出了一种将算法发现表述为程序搜索的方法,并将其应用于深度神经网络训练优化算法的发现。我们利用高效的搜索技术来探索无限和稀疏的程序空间。为了弥合代理任务和目标任务之间的巨大泛化差距,我们还引入了程序选择和简化策略。我们的方法发现了一个简单有效的优化算法,Lion(进化符号动量)。它比Adam更节省内存,因为它只跟踪动量。与自适应优化器不同,它的更新对于通过符号操作计算的每个参数具有相同的幅度。我们将Lion与广泛使用的优化器(如Adam和Adafactor)进行比较,以在不同任务上训练各种模型。在图像分类方面,Lion在ImageNet上将ViT的准确率提高了2%,并在JFT上节省了高达5倍的预训练计算。在视觉语言对比学习方面,我们在ImageNet上实现了88.3%的零射击和91.1%的微调准确率,分别比之前的最佳结果高出2%和0.1%。在扩散模型上,Lion通