有关BN
其中扩展参数 gamma, 和 平移参数 β,也是一种输入到输出的映射关系,所以可以通过反向传播学习的。
RepVGG
里面需要说一下的就是Op融合阶段详解的那张图中的图b,这个图的背景是输入输出通道数都为2
所以一共需要2个卷积组(对应输出通道),每个卷积组里2个卷积核(对应输入通道)。所以不管是3*3的卷积还是1*1的卷积都为4个,可以注意到在op融合之前,每个conv层的param是只有权重没有偏置的,在这篇文章的后半部分有关于这一点的说明。
同时也解释了为什么BN层的四个参数,每个都有2个param,2是对应了卷积组的个数,也就是对应了输出通道数。