[论文阅读]The Lottery Ticket Hyothesis:Finding Sparse, Trainable Neural Networks

最新推荐文章于 2023-07-23 17:05:08 发布

XMU_MIAO

最新推荐文章于 2023-07-23 17:05:08 发布

阅读量1k

点赞数

分类专栏：论文阅读文章标签：神经网络自然语言处理深度学习

本文链接：https://blog.csdn.net/ZY_miao/article/details/109771448

版权

本文提出彩票假设，认为随机初始化的稠密神经网络内存在子网络（中奖彩票），它们在单独训练后能达同等精度。通过实验展示了在全连接和卷积网络中找到的中奖彩票在较小规模下，训练速度更快，测试精度更高。研究还探讨了初始化和结构对中奖彩票的重要性，以及其在提高训练性能、设计新架构和增强理论理解上的潜力。

摘要由CSDN通过智能技术生成

前言

论文名：The Lottery Ticket Hyothesis:Finding Sparse, Trainable Neural Networks
论文作者：Jonathan Frankle et.al.
期刊/会议名：ICLR 2019
本文作者：XMU_MIAO
日期：2020/11/18

摘要

神经网络剪枝技术可以使训练网络的参数数减少90%以上，在不影响精度的前提下降低存储要求，提高推理的计算性能。然而，目前的经验是，通过修剪产生的稀疏结构很难从头开始训练以获得同样训练性能提高。
我们找到一个标准的剪枝技术自然地发掘子网络，而子网络的初始化使它们能够有效地训练。基于这些结果，我们提出彩票假设:稠密的、随机初始化的前馈网络包含子网络(中奖彩票)，在单独训练时，在相似的迭代次数下达到与原始网络相当的测试精度。 我们找到的中奖彩票赢得了初始化抽签:它们之间的联系有初始权重，这使得训练特别有效。
本文提出了一种识别“中奖彩票”的算法，并通过一系列实验验证了彩票假设和这些偶然初始化的重要性。 我们一直都能找到比MNIST和CIFAR10的几个全连接和卷积前馈体系结构的10-20%还小的彩票。在此规模上，我们发现的“中奖彩票”学习速度比原来的网络和达到更高的测试精度。