网络亮点:
1、超深的网络结构(突破1000层)
2、residual残差模块
3、提出batch Normalization加速训练(丢弃dropout)
问题
一、梯度消失或梯度爆炸
误差是小于1的系数,每向前传播一次都要✖一个小于1的误差梯度,越乘越趋近于零梯度越来越小,导致梯度消失。反之,梯度越来越大导致梯度爆炸。
二、退化问题
residual结构
输入的深度与输出的深度不一样时会采用虚线shortcut
已下是bn的计算方式,在图像预处理过程中对图像进行标准化处理,加速网络收敛,使其满足分布规律