resnet

关于resnet，网上有大量的文章讲解其原理和思路，简单来说，resnet巧妙地利用了shortcut连接，解决了深度网络中模型退化的问题。
  然而对此我有一个疑问，卷积网络设计之初就是为了自动学习高级特征，理论上随着网络的加深会学习到更加抽象的特征，然而事与愿违，所以有了resnet的出现。个人认为，产生这样的原因有两个，一是深度学习中的求导机制，不断连乘会导致梯度消失或者梯度爆炸；二是现目前还不能准确了解目标的特征结构，也就是说，我们不知道到底多少层网络才能够学习到完整的特征。
  对于第一个，要想解决就得改善神经网络基本理论，或者说有一个更好的求解方法。对于第二个，之前在Valse2019中听了几个网络结构搜索(NAS)的报告，感觉是在解决这个问题。
  以上仅为个人观点，欢迎讨论。

作者：zyyupup
链接：https://www.jianshu.com/p/085f4c8256f1
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。