该博客探讨了如何在多模态数据中区分共同特征和模态独有的特征。通过使用双鉴别器，第一个鉴别器专注于识别共同特征并评估其属于特定模态的概率。权重w被定义为这个概率的倒数，用于指导第二个鉴别器的训练，该鉴别器采用极大极小损失函数。这种方法旨在减小共同特征的差距，将它们映射到一个共同的子空间，从而提高多模态特征的融合效果。
将多模态间的特征分为共同特征和模态独有特征，缩小共同特征差距使之映射到共同子空间
利用双鉴别器
第一个鉴别器用来识别多个模态的共同特征，并说明特征属于模态m的可能性p
定义权重w = 1-p来将这个权重结合多模态给第二个鉴别器鉴别
第二个鉴别器利用极大极小损失函数进行训练
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
