第六周 ResNet

1：文字回答：ResNet的shortcut connection与Highway Network有什么差别？
答：shortcut connection是不带参数的跳层连接，并不会给网络增加额外的参数和计算量，同时却可以大大增加模型的训练速度、提高训练效果，并且当模型的层数加深时，这个简单的结构能够很好的解决退化问题，因为Identity map是梯度可以直接回流到了输入层。
Highway Network的灵感来自“解决RNN的问题，提出的LSTM结构”，也就是加入“门”结构。Highway Network主要解决的问题是，网络深度加深，梯度信息回流受阻，造成网络训练困难的问题。增加了额外训练参数W_T。

2：文字回答：ResNet的训练曲线与GoogLenet的曲线为什么有明显差异？是什么原因导致的？
答：ResNet采用了预热训练，避免一开始较大学习率导致模型不稳定。训练一开始用较小的学习率训练一个epoch,然后恢复正常学习率。ResNet还应用了随机梯度下降SGD以及shortcut,使得训练曲线比较陡。而GoogleNet的曲线比较平滑。

3：文字回答：ResNet的shortcut connection有哪三种形式，请简述，并思考是否有其他方式？（提示：后面的模型会用concat，而不是相加）
答：①A-全零填充：维度增加的部分采用零来填充。
②B-网络层映射：当维度发生变化时，通过网络层映射特征图至相同维度。
③C-所有Shortcut均采用网络层映射。
4：文字回答：读完该论文，对你的启发点有哪些？
答&#