1,大体流程:
(1)大家发现有可能深层次的网络更优,但是深层网络难以训练,故无法实现
(2)有人提出提前用无监督学习方式预训练,再用有监督训练。如RGB、auto-encoder等实现并验证此想法。
(3)le-net提出用relu做activation可以直接就训练,不需要再预训练,获得成功
(4)google-net和VGG提出了le-net的扩展板,主要是进一步加深了网络的深度,获得成功
(5)residual-net进一步用residual结构来构造神经网络,并且他发现之前的VGG或google-net这种plain-net层数再往上加反而没有之前效果好,而这个效果不是与之前说的网络越深越好矛盾吗?因此由于某种原因导致更深的网络不好,他用residual结构解决了此问题。
2,存在疑问
(1)为什么除了relu以外用其他核来训练网络无法得到目标网络?
答:论文中说是由于梯度消失。但是各种解释都说的是probibally,所以没什么意义。反正除了relu其他activation就是不合适,我觉得主要原因还是稀疏性,relu可以构成稀疏且dense向量,而其他则仅仅是dense向量。
纠结这个问题暂时没啥意义,这个问题需要理论上的突破才能完全从本质上解释。
(2)为什么residual可以更好的训练更深层次网络?