重磅！胸部X光最新数据集开源了！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【医学影像】微信交流群

扫码加入CVer学术星球，可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，以及最前沿项目和应用！发论文搞科研，强烈推荐！

在CVer微信公众号后台回复：论文，即可下载论文pdf和数据集链接！快学起来！

转载自：新智元 | 编辑：LRS

【导读】「胸部X光」数据集迎来重大变化：包含了医学图像的严重度及医生诊断的不确定度，文中还提出了一种用于CXR疾病分类的解剖结构感知的多关系图学习方法。

胸部X光（CXR）检查是一种广泛应用于各种疾病的筛查、诊断检查的临床成像方式。

临床诊断中，不仅包括常见的疾病类型，往往还会描述相应严重程度和不确定性，目前的医学图像数据库往往满足于预测疾病类型，而忽视了具有重大临床意义的后者。

最近，德州州立阿灵顿分校、NIH、理化学研究所、东京大学以及日本国立癌症研究中心的研究人员从临床角度出发，提出一个包含疾病严重程度和不确定性的全新数据集，并提出了一种用于CXR疾病分类的解剖结构感知的多关系图学习方法。

论文地址：https://arxiv.org/abs/2309.03331

项目主页：https://github.com/MengRes/Uncertain-Label.git

数据集：https://physionet.org/content/cad-chest/1.0/

这篇论文的主要贡献有两点：

1. 提出一个包含疾病严重程度和不确定性的数据集。

2. 提出了一种使用医学知识的多关系图学习方法用于CXR疾病分类。

全新数据集

诊断疾病的严重程度在临床诊断中至关重要，超越了疾病类别存在或不存在的二元分类，在MIMIC-CXR数据集中（最大的胸片数据集之一）以及随附的放射学报告，疾病严重程度的描述（例如图1中的「small pleural effusion」或「mild cardiomegaly」）很常见。

图1：放射学报告中关于疾病不确定性和严重程度的描述（疾病用红色字体标出，严重程度用绿色高亮，不确定性用蓝色高亮）

据了解，之前没有研究解决报告的疾病严重程度的问题。

其次，由于胸片的基本复杂性和难度，对医生的疾病不确定性进行建模非常重要。放射科医生经常在临床记录中使用「可能」、「不排除」和「也许」等术语在临床记录中表明不同程度的不确定性。

大多数先前的研究将这种不确定性视为负面类别，这可能会误导临床决策。

研究人员使用了基于规则的提取方法从放射学报告中提取疾病的名称，严重程度和不确定性信息。

对于疾病名称，研究人员列出每一种疾病可能使用的表述，对于疾病严重程度，并列出了表示严重程度的词语，并将严重程度量化为轻度（mild），中度（moderate）和严重（sever）三个等级，如表1所示。

对于疾病的不确定性，研究人员与医生合作，制定了不同的不确定性词语与标签值的映射，将不同的严重程度对应于不同的标签值，对疾病的描述越肯定，标签值越高，如表2所示。

表1：表示疾病严重程度的词语

表2：表示疾病不确定性的词语

研究人员邀请经验丰富的医生评估提取的标签的准确性，向医生提供了500份随机选择的放射学报告及其相应提取的疾病，严重程度和不确定性标签。

根据医生的反馈统计了标签的准确性，如表3所示。

表3：提取的标签的准确性评估

方法

基于上述提取的标签上使用图网络对疾病分类。

根据医生提供的医学知识，构建出了三种图网络关系，分别为spatial graph（表示解剖学结构之间的关系），semantic graph（疾病之间的关系）和implicit graph（表示潜在的关系）。

模型结构如图2所示，具体介绍情参见论文。

图2：方法的网络结构

实验

研究人员在提取的标签上进行实验并和其他方法比较，结果如表4所示。

表4：与其他方法的比较结果

研究人员使用二元标签和不确定标签来训练模型，记为Ours（0-1）和Ours（Uncertain）。

为了更深入地研究方法的性能，文中还进行了消融研究。每个实验都针对具有二元标签和不确定标签的spatial graph、semantic graph和implicit graph进行单独训练。

作者将疾病感兴趣区域与在ResNet-50模型上使用Grad-CAM生成结果进行比较。从报告中提取异常区域如下图所示。可以发现，放射学报告显示双侧下肺（左下肺和右下肺）出现混浊。

此外，右肺的混浊可能代表肺炎。ResNet-50模型在不透明和肺炎的情况下重点关注右下肺、右中肺和心脏区域。

从报告中可以发现心脏区域没有异常，而左下肺的疾病被遗漏，使得Grad-CAM结果不太准确。研究人员提出的模型同时关注左下肺和右下肺，并且比ResNet-50方法表现更好。

图4：报告中的异常描述以红色突出显示，从文本中提取的异常和位置在报告下方提供。为每个异常提供两张图像以进行比较。(a)和(c)是ResNet-50模型中Grad-CAM获得的异常感兴趣区域。(b)和(d)是通过研究人员的方法获得的感兴趣的节点。在结果中，每个边界框对应一个解剖区域的节点，红色边界框是关注度最高的节点，黄色边界框对应与红色边界框密切相关的节点。绿色箭头表示节点之间的连接。

结论

在这项研究中，作者提出CXR疾病诊断在临床中存在的疾病严重性和不确定性描述的问题。

针对此问题作者使用基于规则的方法从放射学报告中提取包含疾病严重程度和不确定性的标签。

在该数据集上，作者使用基于医学知识的图神经网络来预测疾病的严重程度和不确定性。

参考资料：

https://github.com/MengRes/Uncertain-Label.git

在CVer微信公众号后台回复：论文，即可下载论文pdf和数据集链接！快学起来！

医学影像交流群成立
扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-医学影像微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。
一定要备注：研究方向+地点+学校/公司+昵称（如医学影像+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer444，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看