weixin_56601052的博客

原创 [TMI-2022] VQAMix：用于医学视觉问答的带条件三元混合

然而，混合两个VQA样本会在不同样本的图像和问题之间构建新的联系，这将导致这些编造的图像-问题对的答案缺失或毫无意义。为了缓解无意义的答案问题，我们设计了带条件混合标签的学习（LCL）策略，该策略进一步利用语言类型的先决条件，迫使混合对拥有属于同一类别的合理答案。在VQA-RAD和PathVQA基准山的实验结果表明，我们提出的方法明显提高了基线的性能，在两个骨干的平均结果上跟别提高了7%和5%，更重要的是，VQAMix可以提高置信度和模型的可解释性，这对医学VQA模型的实际应用意义重大。