Concat层作用:用于连接两组或多组网络结点。
Concat层实现,在Tensorflow、Pytorch等框架中都有专用的函数。但需要自己实现的时候,需要了解Concat的具体实现,避免踩坑。
以下两张图,第一张是Concat层的正确实现方式,第二张是错误的实现方式。
Concat层的反向传播,是由该层对应的部分网络分别传播的。图1的方式能完美的实现这一点,使每个embedding得到更好的训练。图2的方式不是正确的Concat,这种方式训练的embedding不具备独立性,不能很好地对特征进行表达。