1、学习内容
阅读论文《Multimodal Representation Learning by Alternating Unimodal Adaptation》
《Collaborative Modality Fusion for Mitigating Language Bias in
Visual Question Answering》
第一篇论文《交替单模态适应的多模态表征学习》计算机视觉领域,通过几个特征提取网络分别交替提取单模态特征进行训练,使用一个共享头部捕获跨模态的交互信息,使用了权重修正防止情态遗忘。
第二篇论文设计了一个模态的偏见检测器去检测偏见,然后通过加强偏见模态特征的方式减少偏见。
完成两篇论文代码的跑通,已及结果的复现。
目前正在尝试模型的改进