ResNet是为解决深度神经网络中梯度消失和退化问题提出的，通过残差函数f(x)=h(x)-x进行优化，使得网络能更易训练且性能提升。Residual Block是其实现关键，包含short connection，当网络最优时，Block表现为恒等映射。ResNet网络结构由多个Residual Block堆叠而成，适用于图像识别等任务。
ResNet
出自论文Deep Residual Learning for Image Recognition
1.提出背景
1. 梯度爆炸/消失问题（这篇博客讲的很好）
2. 退化问题（随着网络深度增加，准确率达到饱和，然后迅速下降）
3. 为了使网络能够有更深的深度
2.什么是残差函数？
我们使用一般网络拟合的是h(x),使得输入x,h(x)能够得到正确的解来帮助我们预测分类
而在ResNet中引入了残差函数f(x)=h(x)-x（即目标值与输入值的偏差）,通过训练拟合f(x)，进而由f(x)+x得到h(x)
使用残差函数的好处有哪些呢？我的理解有以下几点（仅个人理解，如有错误请指出~）
- 解决了退化问题同时很好的避免（或者只能说是减少？）了梯度爆炸/消失。ResNet的出发点并不是为了解决梯度爆炸/消失问题，达到这种效果纯粹是无意之举，关于原因的话，我阅读了大量的博客和解析，他们用公式的解释方法我并不是很理解。
- 首先为什么解决了退化问题。当网络达到一定深度，若网络已经最优化，那
最低0.47元/天 解锁文章
163
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
