医疗图像描述

医疗图像描述

1. 任务描述

给定一张或多张医疗图片，生成一份医疗报告（medical report)。一份医疗报告需要包含图片的正常部分和非正常部分，相比较于正常的图像描述，需要描述的更具体更全面，对于人工而言，撰写医疗报告既费事又繁琐，所以医疗图像描述能够辅助医生作决定，是当前一个热门的研究方向。
例子：

2. 数据集

• IU-Xray
  • 胸部x光片，平均每个报告77个word
  • 3955份报告，7470张图片
  • 2016《Preparing a collection of radiology examinations for distribution and retrieval》
• MIMIC-CXR
  • 胸部放射线影像
  • 227835份报告，377110张图片
  • 2019《MIMIC-CXR Database》
• PadChest
  • 胸部放射线影像
  • 约11万份报告，约16万张图片
  • 2020《PadChest: A large chest x-ray image dataset with multi-labelannotated reports》
• COVID-19
  • x-ray images
  • 1261份图文对，平均报告长度为72
  • 2022《DeltaNet:Conditional Medical Report Generation for COVID-19 Diagnosis》

3. 相关研究

• 《Competence-based Multimodal Curriculum Learning for Medical Report Generation》
  • 采用课程式学习方法进行医疗图像描述，减少数据偏差。
  • 提到普通图像描述不能应用在医疗任务上的原因：1.视觉数据偏差，正常图片占的比重大，并且图片中非正常区域只占一小部分；2.文本数据偏差，报告需要描述整张图片，使得正常区域的描述几乎占据整个报告；3.训练效率，现有工作大部分都是将样本同等对待，导致生成的报告重复，而且缺乏对特别区域的描述。
• 《Writing by Memorizing: Hierarchical Retrieval-based Medical Report Generation》
  • 基于检索的方法生成医疗报告。
  • 首先利用视觉语言模型来寻找与图片最相关的报告；然后利用语言检索模型，根据已生成的描述检索相关句子；最后，语言解码器混合图像特征和来自检索的特征，从而生成报告。
• 《DeltaNet:Conditional Medical Report Generation for COVID-19 Diagnosis》
  • 基于检索的方法，首先检索相关的医学报告，然后对比检索出的图片和当前图片的差别，最后生成报告。捕捉图片之间的视觉差异。
• 《Automated Generation of Accurate & Fluent Medical X-ray Reports》
  • 为了生成更加准确的医疗报告，本文将患者的临床病史资料也作为输入。分类器对症状进行分类；生成器生成报告，最后的解释器保证报告符号疾病相关的主题。
• 《On the Automatic Generation of Medical Imaging Reports》
  • 2018年一篇经典的文章，基于CNN和LSTM的方法。
• 《AlignTransformer: Hierarchical Alignment of Visual Regions and Disease Tags for Medical Report Generation》
  • 基于transformer的一种方法。
• 《Generating Radiology Reports via Memory-driven Transformer》
  • 采用图像描述中的memory driven Transformer方法，关系记忆（RM）用于记录之前生成过程的信息，然后MCLN（记忆驱动的条件层归一化）将RM的信息结合到transformer中。
  • 在生成过程中可以隐式地对不同医疗报告中的相似模式进行建模和记忆，从而方便了Transformer的解码，能够生成内容丰富的长报告。
• 《Improving Factual Completeness and Consistency of Image-to-Text Radiology Report Generation》
  • 采用强化学习的方法生成准确的报告。
  • Cider和Bleu难以准确的评估医疗报告，所以利用额外两种奖励来促进报告的完整性和一致性。第一个是鼓励生成与报告相关的实体；第二个是使用自然语言推理来鼓励保证描述这些实体的一致性。
  • 利用stanza进行实体识别。

4. 评估指标

• 图像描述相关指标
  • Cider，Rouge-L，Bleu
  • Meteor
• 其它
  • AUC（通过训练分类器，判断生成报告的准确性）
  • 准确率