深度学习之concatenate和add的对比

目录

1.concatenate和add网络对比

2 .concatenate和add代码实现

---

1.concatenate和add网络对比

1.1 在网络结构的设计上，经常说DenseNet和Inception中更多采用的是concatenate操作，而ResNet更多采用的add操作，那么这两个操作有什么异同呢？

concatenate操作是网络结构设计中很重要的一种操作，经常用于将特征联合，多个卷积特征提取框架提取的特征融合或者是将输出层的信息进行融合，而add层更像是信息之间的叠加。.

Resnet是做值的叠加，通道数是不变的，DenseNet是做通道的合并。你可以这么理解，add是描述图像的特征下的信息量增多了，但是描述图像的维度本身并没有增加，只是每一维下的信息量在增加，这显然是对最终的图像的分类是有益的。而concatenate是通道数的合并，也就是说描述图像本身的特征增加了，而每一特征下的信息是没有增加。

在代码层面就是ResNet使用的都是add操作，而DenseNet使用的是concatenate。这些对我们设计网络结构其实有很大的启发。

 1.2 concatenate在U-net中的使用

   U-net网络是在coding-decoding网络结构基础上发展而来的，他输入的是图像，输出的也是图像,相当于是一个end-to-end[3]网络结构。传统的网络确实可以达到降低网络参数的功能，但是可能重建的效果不是太好，所以我们在deconding将coding过程中相同尺寸的feature map连接到我们decoding网络的feature map，这样就充分了利用了coding网络中结构信息，达到更好的去混迭、或者是重建效果。

  1.3  concatenate在DenseNet网络中的使用

   出发点是为了解决Resnets出现的冗余性问题。使用的参数更少，也缓解了梯度消失的问题，网络也更容易训练。Densenet和ResNests在数学表达的区别就是把Resnets中skip layer加法变成了concatenate连接运算

    深层的CNN一直以来都存在一个问题：数据在多层传播后很可能会逐渐消失。Resnet（的缺点）通过“skip connection”结构一定程度上在促进了数据在层间的流通，但接近输出的网络层还是没有充分获得网络前面的特征图。另外提一点，在针对resnet研究，之后出现WRN[9]网络说明了resnets网络可能存在冗余，提出了一个宽而浅的网络（DenseNet网络），效果证明WRN效果也不错

可见，将skip-layer变成了concatenate层，也就是说后面一层和整个网络前面所有层都建立一个连接，这样会减少网络网络层数，有利于网络的训练。但是具体在使用各种框架实现DenseNets时候，可能会大大的占用显存，作者又提出针对此问题的解决方法[11]，解释说这不是DenseNest本身的问题，而是目前的框架比如tensorflow、pytorch等对concatenate操作支持的不是的很好。

2 .concatenate和add代码实现

通过看keras的源码，发现add操作，

def _merge_function(self, inputs):
    output = inputs[0]
    for i in range(1, len(inputs)):
        output += inputs[i]
    return output

执行的就是加和操作，举个例子

import keras
input1 = keras.layers.Input(shape=(16,))
x1 = keras.layers.Dense(8, activation='relu')(input1)
input2 = keras.layers.Input(shape=(32,))
x2 = keras.layers.Dense(8, activation='relu')(input2)
added = keras.layers.add([x1, x2])
 
out = keras.layers.Dense(4)(added)
model = keras.models.Model(inputs=[input1, input2], outputs=out)

 

通过keras源码发现，一个返回sparse_concate，一个返回concate

if py_all([is_sparse(x) for x in tensors]):
    return tf.sparse_concat(axis, tensors)
else:
    return tf.concat([to_dense(x) for x in tensors], axis)

concate操作，举个例子

t1 = [[1, 2, 3], [4, 5, 6]]
t2 = [[7, 8, 9], [10, 11, 12]]
tf.concat([t1, t2], 0) ==> [[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]]
tf.concat([t1, t2], 1) ==> [[1, 2, 3, 7, 8, 9], [4, 5, 6, 10, 11, 12]]

# tensor t3 with shape [2, 3]
# tensor t4 with shape [2, 3]
tf.shape(tf.concat([t3, t4], 0)) ==> [4, 3]
tf.shape(tf.concat([t3, t4], 1)) ==> [2, 6]

事实上，是关于维度的一个联合，axis=0表示列维，1表示行维，沿着通道维度连接两个张量。另一个sparse_concate则是关于稀疏矩阵的级联，也比较好理解。