CXR-CLIP: Toward Large Scale Chest X-ray Language-Image Pre-training论文速读

CXR-CLIP: Toward Large Scale Chest X-ray Language-Image Pre-training

摘要

大规模图像-文本对数据集极大地促进了视觉语言预训练 （VLP） 模型的发展，该模型无需昂贵的注释即可实现零样本或少样本分类。然而，在医疗领域，数据的稀缺性仍然是开发强大的VLP模型的重大挑战。在本文中，我们通过一般提示将图像-标签对扩展为图像-文本对，并在放射学报告中利用多个图像和多个切片来解决胸部 X 射线中缺乏图像-文本数据的问题。我们还设计了两种对比损失，分别命名为 ICL 和 TCL，用于学习医学图像和报告的研究水平特征。
代码地址

方法

其中每个研究都有一对图像 （x1， x2） 和一对文本 （t 1， t 2）。如果一项研究有一张图像或一个文本，则进行数据增强以制作第二个示例。对于图像标签数据，从类标签生成两个不同的提示，如 （t 1， t 2）。使用采样对，编码器使用三种对比损失（MVS、ICL 和 TCL）进行训练。
损失函数：CLIP使用两个InfoNCE损耗的平均值

本文的MVS损失函数：

实验结果

数据划分策略