aoru45的专栏

原创 [论文理解]关于ResNet的理解

这两天回忆起resnet，感觉残差结构还是不怎么理解（可能当时理解了，时间长了忘了吧），重新梳理一下两点，关于resnet结构的思考。 要解决什么问题 论文的一大贡献就是，证明了即使是深度网络，也可以通过训练达到很好的效果，这跟以往的经验不同，以往由于网络层数的加深，会出现梯度消失的现象。这是因为，在梯度反传的时候，由于层数太深，传递过程又是乘法传递，所以梯度值会越乘越小，梯度消失在所难免。那...