作业内容:
1:文字回答:ResNet的shortcut connection与Highway Net有什么差别?
答:残差网络可以理解为将gata function融入了residual functions。也就是残差网络的residual不仅仅学习到怎样transform还学习到是否transform。multiple nonlinear layers能够学习到对合适的数据进行复杂的transform,不需要gate进行scale。既然不需要gate的scale,那就没必要用gate机制。而且gate函数近似不了复杂的函数(单层sigmod),所以泛化较低,性能相对比residual差。简而言之,两者都是通过shortcut机制来实现深度网络的训练(选择合适的layer来进行transform)。然而它们选择的机制是不同的(residual是直接训练一个只能处理特定数据的网络,而Highway是通过gate机制)。residual更像是Highway泛化。所以到底是Highway还是residual?简单来说,Highway参数少,适合single nonlinear layer的transform。residual参数多,必须匹配multiple nonlinear layers来近似residual函数。
2:文字回答:ResNet的训练曲线与GoogLenet的曲线为什么有明显差异?是什么原因导致的?
答:Googlenet的曲线比较平滑,而Resnet的曲线是曲曲折折的,比较陡;原因是因为Resnet中应用了随机梯度下降SGD以及shortcut的原因导致。
3:文字回答:ResNet的shortcut connection有哪三种形式,请简述,并思考是否有其他方式?(提示:后面的模型会用concat,而不是相加)
答:
- 实线的Connection部分(”第一个粉色矩形和第三个粉色矩形“)都是执行3x3x64的卷积,他们的channel个数一致,所以采用计算方式:y=F(x)+x。
- 虚线的Connection部分(”第一个绿色矩形和第三个绿色矩形“)分别是3x3x64和3x3x128的卷积操作,他们的channel个数不同(64和128),所以采用计算方式:y=F(x)+Wx。
其中W是卷积操作,用来调整x的channel维度的
4:文字回答:读完该论文,对你的启发点有哪些?
答:Resnet中的shortcut连接方式;网络深度更深,不会出现梯度消失现象;由于使用更深的网络,分类准确度加深;解决了深层次的网络退化问题。
5:代码实现:在cifar-10上训练一个resnet20或34或56或者110或1202, 将训练曲线,混淆矩阵图等信息贴出来分享
Resnet-56的图像: