ResNet
出自论文Deep Residual Learning for Image Recognition
1.提出背景
1. 梯度爆炸/消失问题(这篇博客讲的很好)
2. 退化问题(随着网络深度增加,准确率达到饱和,然后迅速下降)
3. 为了使网络能够有更深的深度
2.什么是残差函数?
我们使用一般网络拟合的是h(x),使得输入x,h(x)能够得到正确的解来帮助我们预测分类
而在ResNet中引入了残差函数f(x)=h(x)-x(即目标值与输入值的偏差),通过训练拟合f(x),进而由f(x)+x得到h(x)
使用残差函数的好处有哪些呢?我的理解有以下几点(仅个人理解,如有错误请指出~)
- 解决了退化问题同时很好的避免(或者只能说是减少?)了梯度爆炸/消失。ResNet的出发点并不是为了解决梯度爆炸/消失问题,达到这种效果纯粹是无意之举,关于原因的话,我阅读了大量的博客和解析,他们用公式的解释方法我并不是很理解。
- 首先为什么解决了退化问题。当网络达到一定深度,若网络已经最优化,那