1:文字回答:ResNet的shortcut connection与Highway Network有什么差别?
答:shortcut connection是不带参数的跳层连接,并不会给网络增加额外的参数和计算量,同时却可以大大增加模型的训练速度、提高训练效果,并且当模型的层数加深时,这个简单的结构能够很好的解决退化问题,因为Identity map是梯度可以直接回流到了输入层。
Highway Network的灵感来自“解决RNN的问题,提出的LSTM结构”,也就是加入“门”结构。Highway Network主要解决的问题是,网络深度加深,梯度信息回流受阻,造成网络训练困难的问题。增加了额外训练参数W_T。
2:文字回答:ResNet的训练曲线与GoogLenet的曲线为什么有明显差异?是什么原因导致的?
答:ResNet采用了预热训练,避免一开始较大学习率导致模型不稳定。训练一开始用较小的学习率训练一个epoch,然后恢复正常学习率。ResNet还应用了随机梯度下降SGD以及shortcut,使得训练曲线比较陡。而GoogleNet的曲线比较平滑。
3:文字回答:ResNet的shortcut connection有哪三种形式,请简述,并思考是否有其他方式?(提示:后面的模型会用concat,而不是相加)
答:①A-全零填充:维度增加的部分采用零来填充。
②B-网络层映射:当维度发生变化时,通过网络层映射特征图至相同维度。
③C-所有Shortcut均采用网络层映射。
4:文字回答:读完该论文,对你的启发点有哪些?
答&#