【深度学习】如何理解以add的方式融合特征

在各个网络模型中，ResNet，FPN等采用的element-wise add来融合特征，而DenseNet等则采用concat来融合特征。那add与concat形式有什么不同呢？事实上两者都可以理解为整合特征图信息。只不过concat比较直观，而add理解起来比较生涩。

add与concat的特征融合形式

从图中可以发现，concat每个通道对应着对应的卷积核。 而add形式则将对应的特征图相加，在进行卷积操作，相当于加了一个先验：对应通道的特征图语义类似，从而对应的特征图共享一个卷积核。 因此add可以认为是特殊的concat形式。但是add的计算量要比concat的计算量小得多。