这是一篇2014年的论文,还是有点年代感的,因为在Unet++中有使用到深度监督的思想,所以来打个卡。
概述
- 设计目的?
- 让隐藏层的学习过程可以更加直接(direct)和透明(transparent)。
- 减少分类的错误。
- 让学习的特征更加的鲁棒性和discriminativeness(易区分的,独特的)
- 更好的解决梯度爆炸和梯度消失的问题。
- 如何做,内容?
- Introduce Companion objective to hidden layer(类正则化)
- Results
- 使用的数据集Benchmark dataset:MNIST, CIFAR-10, CIFAR-100, SVHN。
- 在以上数据集取得了比以往的state-of-the-art results更好的结果。
- 对当时DL framework的问题总结?
- 1、中间隐藏层在训练时候的不透明
- 2、梯度消失和梯度爆炸
- 3、算法缺乏全面的数学理解
- 4、依赖于大量的数据
- 5、手工调整网络的复杂性
细节部分
1、Motivation
结构上是将SVM模型不止在output层上而是接在每一个层上。
- 分类器在highly discriminative features上训练会得到一个更好的结果。
- properties of companion objective:
- 可以表现出正则化的性质,在不牺牲训练准确率的情况下提高了测试集合的准确率。
- 可以更快的收敛,特别是在小训练集上。
2、结构
- 基础结构还是和标准的CNN框架一样。然后在output和隐藏层增加SVM model或者Softmax。这样就是DSN-SVM,和DSN-Softmax。【早期已经有了将CNN和SVM结合起来的paper,但是动机和这篇paper的不一样。】
3、Formulation
- CNN weights: W = ( W ( 1 ) , . . . , W ( M ) ) W=(W^{(1)}, ..., W^{(M)}) W=(W(1),...,W