这里写自定义目录标题
从多源信息融合谈起,其主要是数据层、特征层和决策层,数据层融合计算开销大,但是不损失信息,另外两类都是在数据分析之后,损失了部分信息,但是操作性较高。在深度学习任务中,海量的结构化数据使得从数据层融合比较困难,另外,很多网络的connection(ResNet, DenseNet, Transformer等)设计也融合了单源信息的多尺度特征。基于这两点,深度学习任务(CV,NLP为代表)主要在深度特征信息层进行融合。
主要分类:
- Point-wise addition / Element-wise addition 按照元素相加
特点:基于先验式的特征加工方式,可以视作共享卷积核的特征拼接,计算开销小,信息在此步骤有损失。 主要的代表是FPN,VGG,ResNet。 - Concatenate 特征图拼接
特点:计算开销大,训练难度大,主要代表是DenseNet。