目录
ResNet特点
- 使用BN(Batch Normalization)层加速训练,解决梯度消失/梯度爆炸问题
- 引入residual残差结构,减轻退化问题,可以搭建超深度网络结构(超1000层)。
![](https://i-blog.csdnimg.cn/direct/89ab02220974467da23a2813de635326.png)
Residual残差模块
残差神经网络实际存在两类残差模块(单元),姑且称为(实线)残差模块与虚线残差模块。
残差模块映射
残差模块包含两种映射,identity mapping和residual mapping,综合形成
identity mapping实际基于skip connection跳跃连接理论
residual mapping残差可以理解为,即
实线残差模块
左图模块用于浅层网络(ResNet34),右图模块用于深层网络(如ResNet101)
![](https://i-blog.csdnimg.cn/direct/e5fd06ed93ce4f29a80358a47c7508f2.png)
![](https://i-blog.csdnimg.cn/direct/45108b447af74f44af596c7b16669ab2.png)
右侧模块中,能够减少参数和运算量,1*1的卷积和用于升维/降维。
输入channel为256的特征矩阵,左侧模块需要1170648个参数,右侧模块需要69632个参数。
虚线残差模块
左图模块用于浅层网络(ResNet34),右图模块用于深层网络(如ResNet101)
![](https://i-blog.csdnimg.cn/direct/b592af728e404c92aaf8d602d1a994cc.png)
![](https://i-blog.csdnimg.cn/direct/7cf48dba347e4d8fada727d4eeff5608.png)
虚线残差结构在跳跃连接分支上加入1*1卷积核进行降维
注意虚线残差模块中各层步距stride与实线残差模块的区别