多模态缺失
文章平均质量分 94
Trae1ounG
[微信红包]恭喜发财,大吉大利
展开
-
【多模态缺失】IF-MMIN:EXPLOITING MODALITY-INVARIANT FEATURE FOR ROBUST MULTIMODAL EMOTION RECOGNITION
IF-MMIN:使用不变特征来弥补缺失的模态想象网络,包含两个新机制:①全模态场景下基于中心矩差异(CMD)距离的不变特征学习策略;②基于不变特征的想象模块(IF-IM)可以缓解缺失模态预测期间的模态间隙,从而提高多模态联合表示的鲁棒性。原创 2023-10-19 19:40:44 · 1136 阅读 · 2 评论 -
【多模态缺失】A Knowledge-guided Dual-consistency Network for Multi-modal Rumor Detection
现有方法很少考虑图像和文字之间的语义不一致性且很少发现帖子内容与背景知识不一致的情况。此外,它们通常假设多种模态的完整性,因此无法处理现实场景中缺失的模态。出于社交媒体中的谣言更可能具有不一致语义的直觉,提出了一种新颖的知识引导的双一致性网络来检测多媒体内容的谣言。使用两个一致性检测子网络来同时捕获跨模态级别和内容-知识级别的不一致性。它还可以在不同的缺失视觉模态条件下实现强大的多模态表示学习,使用特殊的标记来区分具有视觉模态的帖子和没有视觉模态的帖子。对三个公共现实世界多媒体数据集的广泛实验表明,我们的框原创 2023-10-19 19:35:30 · 1319 阅读 · 0 评论