神经网络压缩：Mimic（一）Do Deep Nets Really Need to be Deep

Do Deep Nets Really Need to be Deep?

论文链接： http://arxiv.org/abs/1312.6184

• 文章主旨
  Shallow feed-forward nets can learn the complex functions previously learned by deep nets and achieve accuracies previously only achievable with deep models.
  文章采用一种模型压缩（model compression）的方法模拟深度网络训练浅层网络，新的浅层模型的准确率能够达到和深度模型几乎一样的效果。（但直接训练浅层网络得到的准确率和深度网络还是没法比的）

• Train Shallow Nets to Mimic Deep Nets
  浅层网络的训练是通过两步得到的：

  • train a state-of-the-art deep model
  • train a shallow model to mimic the deep model
    采用训练好的深度网络和 unlabeled data 共同训练浅层网络。这个浅层网络（mimic model）不是直接在原始数据及标签上训出来的，而是通过将数据输入深度网络，来学习深度网络已经学习到的函数。文章后面的实验中unlabeled data是将原始数据标签丢弃得到的，但要注意：第一，unlabeled的样本最好不能只是将deep mod