《Do Deep Nets Really Need to be Deep》论文阅读

https://arxiv.org/abs/1312.6184
Lei Jimmy Ba, Rich Caruana
NIPS 2014 引用量-964

深层神经网络的性能相比浅层网络提升是因为什么？

• 更多参数
• 可以在给定相同数量参数的情况下学习更复杂的函数
• 具有更好的归纳偏差，可以学习更有用的功能，学习层次表示
• 非卷积网络很难学习到卷积网络学习到的特征表示
• 当前的优化算法和正则化方法在深层架构中更有效
• 以上部分或全部都是？
• 以上都不是？

论文中实验表明，浅层模型能够学习与dnn相同的函数。并且在某些情况下，只需要和dnn相同数量的参数。

实验

• 深层 CNN ensemble 模型用于 CIFAR-10 用于生成 logits(before the softmax activation.),
• 使用老师的 logits 作为回归目标来训练学生网络, 从而完成对老师网络的模仿.
• 通过直接在logits上训练学生模型，学生可以更好地学习老师学到的内部模型，而不会丢失掉因由于softmax的竞争性特性会损失掉输入的信息.

L ( W , β ) = 1 2 T ∑ t ∥ g ( x ( t ) ; W , β ) − z ( t ) ∥ 2 2