MIT研究发现，神经网络可以通过消除不必要的连接（修剪）缩小10%到20%而不影响准确率，甚至可能更快。这一被称为“彩票假设”的理论指出，存在一个子网络在初始化时就能高效训练。此发现有望降低深度学习的资源需求和成本。
【新智元导读】MIT CSAIL近期发表文章《彩票假设：寻找稀疏可训练的神经网络》认为神经网络就像中彩票并不是每一张都有用，但应设法找到最能中奖的那个，因此可通过消除神经网络结构件不必要的连接(也称修剪)适应低功率设备，在一系列条件下不断重复该过程，神经网络可缩小10%到20%，但并不影响准确率，甚至比原始网络跟快。
根据齐鲁晚报报道，最近威海一彩民获得了1219万大奖，可以说是非常幸运了，看的一众神经网络“炼丹师”们羡慕不已。
训练深度神经网络的感觉就像买彩票
HackerNews网友opwieurposiu就吐槽，做DNN其实根本和买彩票没什么区别：先是收集训练数据，然后写一个python脚本，支付大约1美元的GPU时间，跑一下。所不同的是，你盯着的不是轮盘的转针，而是损失函数图。
95%的时间都是废的，但是每隔一段时间你就会得到很大的回报。中奖的时候，你可能觉得自己真是个天才!但复盘的时候又发现，你根本不知道为什么A方式有效而B就不行。这种感觉，跟压彩票非常相似。
1美元的神经网络很小了。为了更好地学习，神经网络就必须非常大，需要海量数据集，整个训练过程可能要持续好多天。投入100美元、1000美元、10000美元……的时候，你可能感受到的不仅仅是经费在燃烧了。
可是，如果说，实际上神经网络不一定要那么大呢?
不修剪了，把没用的部分直接砍掉!
MIT CSAIL的两位研究人员Jonathan Fra
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
