深度学习中---merger层、concatenate层、add层的区别

merger层、concatenate层、add层的区别：

• merger操作：对网络层进行合并模式{“sum”，“mul”，“concat”，“ave”，“cos”，“dot”}，其中，sum和mul是对待合并层输出做一个简单的求和、乘积运算，因此要求待合并层输出shape要一致。concat是将待合并层输出沿着最后一个维度进行拼接，因此要求待合并层输出只有最后一个维度不同。

代码范例：

效果图：

• concatenate操作：网络结构设计中很重要的一种操作，经常用于将特征联合，多个卷积特征提取框架提取的特征融合或者是将输出层的信息进行融合。DenseNet是做通道的合并。而concatenate是通道数的合并，也就是说描述图像本身的特征增加了，而每一特征下的信息是没有增加。

代码范例：

效果图：

• add操作：是信息之间的叠加。Resnet是做值的叠加，通道数是不变的。add是描述图像的特征下的信息量增多了，但是描述图像的维度本身并没有增加，只是每一维下的信息量在增加。

代码范例：

效果图：

在代码层面就是ResNet使用的都是add操作，而DenseNet使用的是concatenate。