小徐科研杂记——Deep Supervision(深监督)

        深度神经网络训练的时候，采用的是反向传播方式，该方式使用链式求导，计算每层梯度的时候会涉及一些连乘操作，因此如果网络过深。那么如果连乘的因子大部分小于1，最后乘积的结果可能趋于0，也就是梯度消失，后面的网络层的参数不发生变化，

        那么如果连乘的因子大部分大于1，最后乘积可能趋于无穷，这就是梯度爆炸。

        深监督(Deep Supervision)，就是在深度神经网络的某些中间隐藏层加了一个辅助的分类器作为一种网络分支来对主干网络进行监督的技巧，用来解决深度神经网络训练梯度爆炸和消失以及收敛速度过慢等问题。