深度学习中的模块改进

记录一些比较通用的模块

※ 捷径分支ResNet(2015)

原论文：Deep Residual Learning for Image Recognition
特点：提出了残差连接，使深层网络成为可能

※ 空间金字塔池化SPP(2015)

原论文：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

※ 组卷积Group Convolution(2017)

原论文：ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

※ 深度可分离卷积Depthwise Separable Convolutions(2017)

原论文：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
特点：将卷积拆分为深度卷积(Depthwise Convolution)和逐点卷积(Point-wise Convolution)，在不损失多少精度的情况下大大降低了计算量

※ 特征金字塔结构FPN(2016）

原论文：Feature Pyramid Networks for Object Detection

※ 类残差多尺度结构Res2Net(2021)

原论文：Res2Net: A New Multi-scale Backbone Architecture
特点：提出一个新的模块，通过在单个残差块内构建分层的类残差连接，Res2Net 在粒度级别上表示多尺度特征，并增加了每个网络层的感受野范围

※ 结构重参数化Re-Parameterization(2021)

原论文：RepVGG: Making VGG-style ConvNets Great Again

边学边更新...