【DSN】Deeply-Supervised Nets

这是一篇2014年的论文，还是有点年代感的，因为在Unet++中有使用到深度监督的思想，所以来打个卡。

概述

---

• 设计目的？
  • 让隐藏层的学习过程可以更加直接（direct）和透明（transparent）。
  • 减少分类的错误。
  • 让学习的特征更加的鲁棒性和discriminativeness（易区分的，独特的）
  • 更好的解决梯度爆炸和梯度消失的问题。
• 如何做，内容？
  • Introduce Companion objective to hidden layer（类正则化）
• Results
  • 使用的数据集Benchmark dataset：MNIST, CIFAR-10, CIFAR-100, SVHN。
  • 在以上数据集取得了比以往的state-of-the-art results更好的结果。
• 对当时DL framework的问题总结？
  • 1、中间隐藏层在训练时候的不透明
  • 2、梯度消失和梯度爆炸
  • 3、算法缺乏全面的数学理解
  • 4、依赖于大量的数据
  • 5、手工调整网络的复杂性

细节部分

---

1、Motivation

结构上是将SVM模型不止在output层上而是接在每一个层上。

• 分类器在highly discriminative features上训练会得到一个更好的结果。
• properties of companion objective：
  • 可以表现出正则化的性质，在不牺牲训练准确率的情况下提高了测试集合的准确率。
  • 可以更快的收敛，特别是在小训练集上。

2、结构

• 基础结构还是和标准的CNN框架一样。然后在output和隐藏层增加SVM model或者Softmax。这样就是DSN-SVM,和DSN-Softmax。【早期已经有了将CNN和SVM结合起来的paper，但是动机和这篇paper的不一样。】

3、Formulation

• CNN weights：$W=(W^{(1)},...,W^{}$