【基础知识】concat vs element-wise sum

1、concatenation operation helps in expanding the dimensions of feature maps efficiently.

2、通过add操作，会得到新的特征，这个新的特征可以反映原始特征的一些特性，但是原始特征的一些信息也会在这个过程中损失。

但是concate就是将原始特征直接拼接，让网络去学习，应该如何融合特征，这个过程中信息不会损失。

3、concat带来的计算量较大，在明确原始特征的关系可以使用add操作融合的话，使用add操作可以节省计算代价。

参考：https://www.zhihu.com/question/306213462/answer/562776112