[TMI-2022] VQAMix:用于医学视觉问答的带条件三元混合
然而,混合两个VQA样本会在不同样本的图像和问题之间构建新的联系,这将导致这些编造的图像-问题对的答案缺失或毫无意义。为了缓解无意义的答案问题,我们设计了带条件混合标签的学习(LCL)策略,该策略进一步利用语言类型的先决条件,迫使混合对拥有属于同一类别的合理答案。在VQA-RAD和PathVQA基准山的实验结果表明,我们提出的方法明显提高了基线的性能,在两个骨干的平均结果上跟别提高了7%和5%,更重要的是,VQAMix可以提高置信度和模型的可解释性,这对医学VQA模型的实际应用意义重大。
原创
2022-11-09 23:30:53 ·
652 阅读 ·
1 评论