CentralNet相比于Concatenate的创新点
Concate的方法相当于在各自模态的特征分别独立抽取之后做融合,但是不干预特征抽取的过程。这显然会漏掉一些不同模态之间的相关性的信息,比如,一个人尖叫的视频片段,里面有人的嘴巴长得很大的这种视觉特征,也会有尖叫声这种声音特征,这两种特征出现的时间都是相关连的。如果在抽取特征的过程中,相互有一个监督或者借鉴的关系,那样应该会更好,这是CentralNet提出的动机。CentralNet把两个可以独立在各自模态做出判断的网络的中间层联系起来,利用联合多任务训练来优化,最后也得到了不错的结果。
参考文章:
CentralNet做多模态融合