Nature机器智能：性能强劲！港大提出医学图像预训练经典算法，代码已开源

最新推荐文章于 2025-03-31 15:48:09 发布

Python_金钱豹

最新推荐文章于 2025-03-31 15:48:09 发布

阅读量981

点赞数 26

文章标签：算法人工智能 llama 数据库前端 ui

本文链接：https://blog.csdn.net/Python_cocola/article/details/142862011

版权

香港大学计算机系俞益洲教授 (https://i.cs.hku.hk/~yzyu/index.html) 研究团队提出的一种经典的医学图像预训练算法 REFERS (Reviewing Free-text Reports for Supervision)，该方法能够从数十万份 X 光影像报告中自动获取自监督信号来进行模型预训练，可以大幅减少对标注数据的依赖，显著降低人工标注所需要的人力成本。

论文标题：

Generalized Radiograph Representation Learning via Cross-supervision between Images and Free-text Radiology Reports

论文链接：

https://arxiv.org/pdf/2111.03452 (预印版)

https://www.nature.com/articles/s42256-021-00425-9 (Nature版)

代码链接：

https://github.com/funnyzhou/REFERS

动机

随着 AI 的不断发展，基于 AI 的医学图像分析能提高各类疾病诊疗的精确性、可靠性，促进疾病诊疗技术的发展，是现代医疗的重要组成部分。然而，采用人工智能算法的常规医学图像诊断，需依靠大量人工标注，为模型训练提供监督信号，过程耗费大量人力和时间，成本代价极高。

为了解决该问题，REFERS 应运而生。与严重依赖人工标注的传统方法以及常规的医疗预训练算法相比，REFERS 能够自动从文本报告中的每个词获取监督信号，从而在预训练过程中提取丰富的语义信息和可迁移信息。

方法

▲ 图1. REFERS算法流程图

如上图所示，REFERS 基于 Vision Transformer (ViT) 构建了一种 Radiograph Transformer 从输入的 X 光图像提取信息，并执行交叉自监督学习。具体来说，给定一个患者的影像检查结果作为输入，REFERS 首先将报告中的 X 光图像部分输入到 Radiograph Transformer 来编码图像特征。

值得注意的是，由于一个患者可能会在不同时期进行 X 光诊断，因此，REFERS 会采用权重共享的 Radiograph Transformer 来同时处理多张 X 光图像输入。

然而，直接使用这种处理方式会面临一个问题，即一个患者会对应多个不同的图像表征输出，不利于和文本进行交叉监督学习。因此，REFERS 进一步使用了一种选择性融合策略，即通过 MLP 来学习一组动态的权重来对不同的X光图像表征进行加权，进而通过特征拼接来进行融合。因此，每个患者都对应一个 X 光图像表征。

在获取患者的 X 光图像表征后，REFERS 会进入包含以下两个任务的预训练阶段：1）从图像表征生成报告；2）强化图像和报告之间表征的一致性。

第一个任务使用专业医师在临床流程中书写的影像报告文本作为监督信号，监督 Radiograph Transformer 的训练过程。具体来说，Radiograph Transformer 和选择性融合模型输出的图像表征会进入一个 Report Transformer 来输出对应的影像报告，该报告以自由文本的形式呈现，包含例如病灶类型和严重程度等的描述。

紧接着，由 Report Transformer 输出的自由文本影像报告会和由专业医师书写的原始报告进行损失计算，进而促使 Radiograph Transformer 通过文本信息学习到强大的图像语义信息。

第二个任务旨在强化图像表征与相对应的报告文本表征之间的一致性。简言之，将专业医师书写的原始影像报告作为 BERT 的输入来生成一组文本特征，这组特征再进一步和选择性融合模块输出的图像特征进行对比学习，并以提升相似度为优化目标，从而促进图像特征与对应报告的文本特征之间的一致性，进而增强模型的表征能力。

实验结果

REFERS 在一个大规模数据集 MIMIC-CXR-JPG 上进行了预训练，该数据集包含大约 37 万张 X 光图像，其中每个影像检查都有一个详细的自由文本报告。完成预训练之后，REFERS 在一系列知名并且公开的下游任务数据集（例如 NIH ChestX-ray）上进行了微调（迁移学习），并和 ImageNet 预训练以及最先进的自监督算法进行了对比。

▲ 表1. REFERS和其它预训练算法在NIH ChestX-ray数据集上的性能对比

如上表所示，基于 REFERS 的预训练模型相较于其它方法有明显的优势。例如，当使用全部下游任务训练集的标注信息（100%）进行微调时，REFERS 比经典的对比学习算法 C2L 在分类精度上有接近 4% 的提升。此外，值得注意的是，即便仅仅在 1% 的标注数据上进行微调，REFERS 仍然具有强大的性能，领先了 C2L 接近 7%。

▲ 表2. REFERS和结构化标签训练得到的模型的比较

如上表所示，REFERS 模型通过与自由文本的交叉训练，其性能可以超越直接使用结构化标签进行标签监督预训练（Label-supervised Pre-training, LSP）的模型。

具体来讲，REFERS 与采用相同主干网络架构的 Transformer 模型以及基于 ResNet 的卷积神经网络（ConvNet）进行了对比。不难发现，在多个不同的数据集上，REFERS 均展现出了更优异的性能。更令人瞩目的是，即便在标签使用率达到 100% 的情况下，REFERS 的性能依然显著优于 LSP。

结论

REFERS 算法成功地将数据标注量降低了 90%，从而大大降低开发成本，同时预测准确度也有明显提高。换言之，REFERS 仅仅使用少量的标注数据就可以达到令人满意的性能，当进一步提升标注数据的数量时，REFERS 性能会进一步显著提升，这为实现通用医疗人工智能迈出了重要的一步。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述