Res-Net: Resblock与其变体的讨论

最新推荐文章于 2025-04-21 11:11:10 发布

置顶

*小呆

最新推荐文章于 2025-04-21 11:11:10 发布

阅读量3w

点赞数 31

分类专栏： deep learning

本文链接：https://blog.csdn.net/qq_39575835/article/details/99685379

版权

众所周知，现在很多网络都是cell组成的，最常用的就是resblock，这篇文章旨在记录比较popular的resblock与其变体。

1.最开始的resblock

resblock1

2.resblock 进化

BatchNorm/InstanceNorm/…Norm出现的时候，basic block最常用的就是Conv+BN+Relu+Conv+BN 模式侧边分支的模式，一定要记住的是，侧边分支最后一个一定不能是relu，残差块残差块，有正有负才能修复identity（identity就是下图灰色的箭头中的线）。
· 在这里插入图片描述

之后有文章对上面结构做出改进，准确的说是改变了模块顺序。得到修正后的basick block模块如下。
在这里插入图片描述

为什么新的结构好那？作者推导了公式（下面有推导），证明这样子在backward的时候梯度可以完全往回传导，所以这样子才是最佳的resblock。
其次，随着BN/IN等在high-level里的活跃，dropout慢慢淡出了人们视野，毕竟都是正则，前者主流，但是仍然有人往里面增加dropout，尤其是生物医学图像数据集（更容易过拟合），所以大家把各种正则手段都拿了出来（个人愚见…）。