从一个初学者,我换一个角度说说我的理解, 我认为resnet能有好的表现主要还是因为事物本身的特征就是不同层次的.
比如, 区分男女相对比较容易,不需要复杂的计算或者模型(在深度网络中就是网络不需要那么深),但是要区分出范冰冰和张馨予就需要更多的计算了(模型更复杂,网络更深). 我们把网络看成一个映射或者函数,在没有'捷径'(shortcut)的网络里,无论简单还是复杂的特征都得用一个很复杂很深的网络来处理或转换,这似乎有点不合理,而现在resnet引入了捷径,不同层次提取到的特征可以'走捷径'影响预测结果.
在resnet的网络里,我们要区分出李晨,范冰冰和张馨予三个人的思路就是这样的,首先提取区分男女特征,这个特征通过捷径直接影响结果,而更细致的脸型皮肤纹理等等走更细致的网络区分范冰冰和张馨予.
所以shortcut(捷径)这个词用的真是好啊,看似简单的修改,背后蕴含本质的区别.