《基于视觉-语言对齐的COVID-19粗到细分割》阅读笔记

COARSE-TO-FINE COVID-19 SEGMENTATION VIA VISION-LANGUAGE ALIGNMENT

摘要

• 粗到细
• 视觉-语言
• 语义分割

本文贡献

• 利用CNN和Vision Transformer构建了C2FVL分割框架
• 提出了一个视觉语言对齐模块(VLAB)和一个新的损失函数，以促进文本和图像信息的对齐，从而提高分割精度
• 将我们的C2FVL与最先进的分割方法在两个COVID-19数据集上进行了比较，实验表明C2FVL的性能是最佳的
• 代码链接

方法

编码器由CNN和vit组成，此外VLAB结合文本信息，将文本信息的与图像的通道进行对齐



将文本信息转换为一个维数为8的向量。第一个维度表示病变区域是否为双侧，第二个维度表示病变数量，后续三个维度依次表示病变在左右肺中的位置。例如，假设文本消息是“双侧肺部感染，两个感染区域，左上肺中部和右下肺中部”。在这种情况下，我们将其转换为向量Vtext =[1,2,1,1,0,0,1,1]

VLAB模块：

损失函数：
计算不同VLAB输出之间的余弦损失，迫使各网络层聚焦于同一焦点区域