ResNet 的文章有两篇:Deep Residual Learning for Image Recognition 和 Identity Mappings in Deep Residual Networks。这里仅仅关注三个问题:ResNet 解决了机器学习中的什么问题;ResNet 的代码怎么写的;ResNet 怎么用。至于文章中的性能研究和试验结果,就不做讨论了。
Deep Residual Learning for Image Recognition
ResNet 解决了 deep NN 的两大问题:1. deep NN 的梯度弥散和爆炸问题;2. deep NN 的精度随着模型的加深,会逐渐饱和不再上升,甚至会大幅度下降。
其理论基础在于:机器学习的目的是用一个任意复杂的函数 H(x) H ( x ) 来近似样本数据的分布。而这个任意复杂的函数 H(x) H ( x ) 可以由任意多的非线性单元来近似。如果将 H(x) H ( x ) 写为: H(x)=