深度学习 loss下降后上升在下降_解读“深度学习最新进展(2020)” Part 5

5. Science of Deep Learning and Interesting Directions

第五部分，介绍的是深度学习理论研究方面的新进展和有趣的方向。

首先是一篇MIT的ICLR 2019 Best Paper《The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks》。

The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks​arxiv.org

这篇paper告诉我们，面对着强大的神经网络，我们人类还是知之甚少。面对日益臃肿的模型尺寸和参数，MIT的研究人员，用某种方式对网络进行裁剪，发现残留的规模很小的网络仍然能够训练出很好的预测效果。MIT研究人员的研究方法如下，

1. 随机初始化神经网络。这是常规的做法。
2. 训练神经网络直至收敛。
3. 裁剪部分网络。
4. 重新按1的方法随机初始化剩余的网络神经元参数
5. 重新训练裁剪过的网络。观察模型的收敛情况和预测准确率。
6. 以上的过程可以迭代重复。

结果是新的子网络效果一致性地好。研究人员把这个现象命名为“彩票假说”。在庞大的网络结构当中，只有一小部分是产生最终效果的彩票，我们只要抽到它就行了，其它都是无谓的成本。问题是，彩票在哪里呢？

The L