1.神经网络是否越深越好?
随着神经网络层数的增多,则对输入图像提取的特征将会更加抽象,这是因为后层神经元的输入是前层神经元的累加和,而特征的抽象程度越高,更有利于后期的分类任务或回归任务。
2.是否可以无限增加神经网络层数?
神经网络层数增加会导致梯度消失或梯度爆炸问题,以往的解决方法是输入标准化和批标准化。但当层数继续增加到一定程度时,训练集和测试机准确率都会下降,这并不是过拟合的原因,因为过拟合会使得训练集准确率上升。在ResNet论文中,称之为模型退化,
3.ResNet算法思想
深层网络 = 浅层网咯 + 恒等映射(H(x)=x)
x是前层输入,H(x)是最终的映射。而网络可学习另一种映射,即