论文笔记-Weakly Supervised Contrastive Learning for Chest X-Ray Report eneration

论文笔记-Weakly Supervised Contrastive Learning for Chest X-Ray Report eneration

创新点：在Generating Radiology Reports via Memory-driven Transformer的基础上增加了对比损失

问题：由于正常的发现在数据集中占主导地位，因此难以为临床诊断生成信息量大的句子。为了应对这一挑战并鼓励更临床准确的文本输出，提出了一种用于医学报告生成的新型弱监督对比损失。

将对比学习应用到损失函数中，如果只是使用随机非目标序列作为反例是次优的，因为随机样本通常很容易与正确样本区分开来（这里我理解的是，同一类的样本但是作为反例与不同类的样本作为反例同等对待是不公平的，作者希望，为相同类的分配更多的权重，从而进一步提高多样性），故引入弱监督的对比损失。

细节：

• 整体模型使用的记忆驱动的transformer的模型，损失为

  

• 使用chexBert模型提取报告的嵌入，使用Bert的CLS嵌入表示报告特征，然后使用K-Means方法聚类到K个组中，然后为每个报告Y分匹配相应的聚类标签l，其中同一个聚类中的报告被认为在语义上彼此接近

• 将图像和目标序列的隐藏表示投影到潜在空间中
  

• ${\tilde{H}}_X$和${\tilde{H}}_Y$是来自transformer的隐藏状态$H_X$和$H_Y$的平均池化，${\varphi }_x$和${\varphi }_y$是两个具有ReLU激活的全连接层，然后我们最大化源图像和目标序列对之间的相似性，同时最小化负对之间的相似性
  
  
  sim是向量的余弦相似度，$\tau$是温度参数，$\alpha$是超参数，用于权衡在语义上接近目标序列的负样本的重要性，当分配更多时，模型表现得更好。

• 最后模型通过混合交叉熵损失和弱监督对比损失进行优化