ResNet结构以及残差块详细分析

ResNet结构以及残差块详细分析

ResNet结构如下

残差块结构以及分析

  输入特征矩阵以两个分支进入残差块，直线分支经过多个卷积层产生输出特征矩阵，**注意：**在直线残差块中，经过最后一个卷积层之后并不是立刻通过激活函数ReLU激活(残差块中除去最后一个卷积层，其他的卷积层都是产生输出特征矩阵之后立刻进行激活)，而是要和shortcut分支传过来的特征矩阵相加之后再进行激活。在这里涉及到了矩阵的相加，那么就要求直线分支(主分支)和shortcut分支(旁分支)的输出特征矩阵的shape(高、宽、channel)必须相同。

  ResNet50/101/152残差块的分析： 从Figure 5 的右图可以看到，输入为256维的特征矩阵，首先经过了一个1*1，维度为64的卷积核，最后64维度的特征矩阵经过一个1*1，维度为256的卷积核，这两个卷积核的分别是进行 降维(高和宽不变 channel变少) 和 升维(高和宽不变 channel变多) 的作用。对于 Figure 5的右图&