多模态VQA24

Notion – The all-in-one workspace for your notes, tasks, wikis, and databases.

1 VQA痛点（领域问题）

1.1对各个模态之中的语义信息进行有效的挖掘；embedding & knowledge injection & extraction

1.2建立各模态之间的准确关联和对齐；alignment

1.3高效地融合模态信息和答案推理。Fusion & inference

2 RS-VQA痛点（针对遥感）

2.1在RSVQA数据集中没有对象注释，这使得模型很难利用信息区域表示。小痛点，attention解决

2.2在RSVQA任务中，每个图像都有不同难度的问题。 直接用随机顺序的问题训练模型可能会混淆模型并限制性能。Easy 2 Hard inference 标注形式，问题塑造解决

2.3 难标注问题，语义信息获取不直观 & 长尾问题。（种类和QA形式，例如：Yes/No）

2.4 RSVQA要从驳杂的遥感图像中提取信息，非专家可以直接获得高阶信息。（RSVQA实际价值，小小点）

2.5数据集缺乏多样性，且多为半自动标注。（数据集驱动）