深度学习学习记录

1，大体流程：

（1）大家发现有可能深层次的网络更优，但是深层网络难以训练，故无法实现

（2）有人提出提前用无监督学习方式预训练，再用有监督训练。如RGB、auto-encoder等实现并验证此想法。

（3）le-net提出用relu做activation可以直接就训练，不需要再预训练，获得成功

（4）google-net和VGG提出了le-net的扩展板，主要是进一步加深了网络的深度，获得成功

（5）residual-net进一步用residual结构来构造神经网络，并且他发现之前的VGG或google-net这种plain-net层数再往上加反而没有之前效果好，而这个效果不是与之前说的网络越深越好矛盾吗？因此由于某种原因导致更深的网络不好，他用residual结构解决了此问题。

 

2，存在疑问

（1）为什么除了relu以外用其他核来训练网络无法得到目标网络？

答：论文中说是由于梯度消失。但是各种解释都说的是probibally，所以没什么意义。反正除了relu其他activation就是不合适，我觉得主要原因还是稀疏性，relu可以构成稀疏且dense向量，而其他则仅仅是dense向量。

纠结这个问题暂时没啥意义，这个问题需要理论上的突破才能完全从本质上解释。

 

（2）为什么residual可以更好的训练更深层次网络？