AI敏锐的诊断眼

原文查看：https://www.nature.com/articles/d41586-024-01132-2

在深度学习算法的支持下，人工智能系统可以取代化学药剂，比如目前用于增强医学造影的化学物质。

—— Neil Savage 著

——helicopterboy 译

Aydogan Ozcan 在人工智能的辅助下，使用手机捕捉显微镜图像，因此达到诊断目的。

2022年4月新冠疫情期间，中国上海实行了疫情封锁。这一决定的影响很快就波及到了在美国接受心脏病治疗的人们。此次封锁关闭了通用电气医疗保健公司（GE）的一个设施，是“碘化对比染料”的重要生产器件，此染料用于在血管造影片中给血管上色。

很快美国医院开始要求轻度胸痛的人先等待，将这个突然变得珍贵起来的染料留给那些被认为正在经历急性心脏病发作的患者使用。GE医疗保健公司急匆匆地将部分生产线转移到爱尔兰以增加供应。后来《美国神经放射学杂志》上的一项研究显示，在从4月中旬持续到6月初的短暂期间，每日计算机断层扫描（CT）血管造影的数量下降了10%，CT灌注测试数量下降了近30%。

供应链问题造成的这种中断将来可能会因为使用虚拟造影剂而得以避免。由人工智能支持的技术可以和染料一样，能高亮显示影像中隐藏的特征，而无需在人体内注入额外的物质。俄亥俄州克利夫兰凯斯西储大学的AI研究员李硕（Shuo Li）说：“有了AI工具，所有这些麻烦都可以消除。”

AI已经进入传统医学成像领域，深度学习算法的作用能够赶上甚至有时超过放射科医生在发现X射线或磁共振成像（MRI）扫描影像中异常信息的表现。现在，这项技术开始走得更远。除了世界各地几个团体正在研究的计算机生成造影剂外，还有一些研究人员正在探索AI是否还可以检测到一些放射科医生通常无法在扫描影像中发现的特征，也有其他一些科学家正在研究AI是否可以使大脑扫描用于诊断神经发育问题，例如注意力缺陷多动障碍（ADHD）等。

李硕自2017年以来一直在关注虚拟造影剂技术，现在他看到了全球对该领域的兴趣浪潮。潜在的好处有很多。所有成像方法都可以通过造影剂来增强——在计算机断层扫描（CT）中的碘染料、在超声造影中的微泡、在MRI中的镓等。所有这些造影剂虽然通常是安全的，但都多少存在一些风险，包括过敏反应。例如，镓通常不能用在有肾脏问题的人、孕妇和那些服用某些糖尿病药物或血压药物的人身上。

还有成本问题。作为造影剂的镓的2023年全球市场估计价值达16亿至20亿美元，造影剂的一般市场价值是至少63亿美元。造影剂的使用也需要额外的时间：许多造影过程包括了拍摄图像、注射造影剂、重新局部扫描等步骤。

这虽然拖延了成像过程，但这种重复有助于为AI模型提供训练数据。计算机通过研究原始图像了解像素的细微变化，然后将这些变化与注射造影剂后的图像上的相应像素进行比较。训练后，AI可以查看全新的扫描影像，并展示如果应用造影剂检查结果会是什么样子。

今年年初，李硕和他在凯斯·韦斯特医学院影像研究中心的同事们从美国国家科学基金会获得了110万美元的资助来追求这个想法。他们已经做了一些初步工作，用几百张影像训练了AI。李硕说，由于数据集很小，结果并不像他们希望的那样准确。但是有了研究1万张甚至10万张图像的资金，性能应该会提高。研究人员还在开展一个类似的项目，从扫描影像中检测肝癌。

填补图片

如果计算机能够识别图像中的健康问题，下一步将是向放射科医生展示一组用实际和虚拟造影剂制作的图像，看看不知情的专家是否从染色图像和AI增强图像中发现不同的结果。李硕说，之后需要进行临床试验才能获得美国食品和药物管理局的批准。

类似的方法也适用于病理学家在显微镜下查看的染色后的组织样本影像。通过处理活检期间采集的组织薄片，病理学家可以突显出某些特征，从而看到有助于识别癌症或其他疾病的细胞异常情况。

通过AI辅助虚拟染色的方法，加州大学洛杉矶分校的光学工程师Aydogan Ozcan说，他可以使用放在显微镜上的手机拍摄图像，然后，尽管图像的分辨率有限而且会失真，但他可以训练神经网络，使其看起来像是一台实验室级别的仪器。该技术将一种类型的图像转换为另一种类型的图像的能力并不止于此。Ozcan从标准组织样本开始，但他没有对其进行染色，反而将它们放在荧光显微镜下并让光线透过它们，促使组织样本自发荧光。由此产生的图像呈灰色，与病理学家习惯的彩色图像非常不同。“显微镜下非常丰富，但没有人关心那些黑白图像，”Ozcan说。

为了加入颜色，他将样本送到组织病理学实验室进行常规染色，并用标准显微镜拍摄样本的图像。然后，Ozcan将这两种类型的图像显示给神经网络，神经网络学习荧光图像中的细节如何与化学染色的效果相匹配。学习了这种对应关系后，AI可以拍摄新的荧光图像，并将其呈现为好像它们已经染色一样。

荧光显微镜捕捉组织样本的黑白图像（左）。AI生成具有虚拟染色的图像版本（中），其与化学染色样品（右）非常相似。

尽管由 苏木精 和 伊红化合物 组成的 H&E 是迄今为止最常见的一种染料，但病理学家使用了许多其他染料，其中一些更适合突出影像的某些特征。在其他各种染料上进行训练后，AI可以将原始图像转换为病理学家想要的任何染料。这种技术允许研究人员为同一小组织样本模拟数百种不同的染料。这意味着病理学家永远不会在各类活检中耗尽组织样本，并且确保他们在每个染料中观察到相同的区域。

人工智能操纵医学图像的能力不仅限于转化它们。它还可以推断缺失的图像数据，从而使放射科医生获得他们本来会错过的临床重要信息。田纳西州纳什维尔范德堡大学医学中心的放射科医生 金·桑德勒 对体脂测量是否有助于预测接受CT扫描筛查肺癌的人的临床结果感兴趣。

通常，放射科医生会裁剪胸部CT扫描中他们不感兴趣的区域，如腹部和脾脏或肝脏等器官。这种选择性提高了图像其余部分的质量，并有助于识别可能表明肺部疾病的阴影或结节。但是，桑德勒认为，AI也许可以通过采取相反的策略并扩大视野来学习更多。她与训练神经网络的计算机工程师一起工作，他们让神经网络还原那些被裁剪的原始图像，并用不同的方式观察它们，或者将其在图片中与医学文献中所看到的知识相结合来，因此决定被遗漏的图像信息是什么。

完成这项工作后，AI对骨骼肌中的脂肪量进行了定量估计——肌肉密度越低，脂肪就越多。身体成分与健康结果之间存在已知的关联。在AI确定的肌肉密度较低的人群中，桑德勒说，“我们发现心血管相关型病患者和肺癌相关型病患者的高死亡率现象，” 以及这项研究所持续的12.3年中因任何原因导致的高死亡率， 桑德勒说。然而，AI并没有改善癌症诊断。“这在谁会患上肺癌方面没有帮助，但在预测死亡率方面是有帮助的，” 她说。

桑德勒表示，这些结果在诊断上仍然很有用。如果扫描中尚未发现肺癌，那么死亡风险较高的人可以接受更积极的治疗或更频繁的筛查。

隐形的标记

AI甚至可能能够发现医生从未想过要寻找的诊断信息类型，部分原因是他们自己无法看到这些信息。例如，ADHD是根据自我报告和观察到的行为而不是生物标志物进行诊断的。加州大学旧金山分校的神经放射学家安德烈亚斯·劳斯切克说：“有些行为相对特定于ADHD，但我们不太了解这些行为如何在大脑的神经回路中表现出来。”作为一个花很多时间观察大脑图像的人，他想看看自己是否能找到这样的指标。

他和他的团队拿1704名美国青少年脑认知发展研究参与者的核磁共振影像进行了AI训练。美国青少年脑认知发展研究是对美国青少年大脑发育的长期调查项目。该系统学会了观察沿着连接大脑不同区域的某些白质束移动的水分子，并试图将任何变化与ADHD联系起来。结果发现，在被确定可能ADHD的儿童中，神经束中的某些测量值明显更高。

安德烈亚斯·劳斯切克和他的同事一直在研究brain.Credit中水分子沿着白质区域的运动

劳斯切克强调这是一项初步研究；它在2023年11月的北美放射学会会议上展示，尚未发表。事实上，他说，目前使用的任何类型的脑成像都无法诊断任何神经精神疾病。尽管如此，他补充说，如果其中一些疾病与大脑的结构变化有关，这是有道理的，他仍然希望扫描在未来能够证明是有用的。他说，在十年内，很可能会有“比现在更多与神经精神疾病相关的成像”。

即使有AI的帮助，医生也不会仅仅根据图像进行诊断。他们还有自己的观察：临床指标，如血压、心率或血糖水平；患者和家族史；也许还有基因测试的结果。如果AI能够接受训练，接受所有这些不同类型的数据，并将它们作为一个整体来看待，也许他们可以成为更好的诊断医师。“这正是我们发现的，” 德国亚琛工业大学的物理学家和临床放射科医生丹尼尔·特伦说，“使用综合信息比单独使用临床或成像数据更有用。”

将这些不同类型的数据结合起来的是造就了ChatGPT6等应用程序的大语言模型背后的深度学习架构。这些系统依赖于一种称为 transformer 的深度学习模型，将数据分解为token，token可以是单词或单词片段，甚至是图像的一部分。transformer 根据它们的出现次数对将来token的影响程度，为单个token分配数字权重——作为所谓的注意力机制（attention）的衡量标准。例如，基于注意力机制，接收到提及“音乐”的字段的 transformer ，当他再接受包含“hit”的语句时，更有可能将它解释为一首流行歌曲，而不是打击的动作。特鲁恩说，注意力机制使得将成像数据与临床测试的数字数据和医生笔记的语言数据的相互结合成为可能。他和他的同事们通过训练他们的AI实现了对25种不同的疾病的诊断，对每种疾病能做出“是”或“否”的判断。他说，这显然不是人类的工作方式，但它确实有助于证明组合模式的力量。

从长远来看，桑德勒 期望AI向医生展示他们以前无法收集到的线索，并成为改善诊断的重要工具。但她并不认为他们会取代专家。“我经常拿驾驶飞机来作类比，” 她说，“我们有很多帮助飞机飞行的技术，但我们仍然有飞行员。”她希望放射科医生将花更少的时间撰写关于他们在图像中看到的内容的报告，更多的时间去审查AI生成的报告，同意或不同意某些细节。“我的希望是，这将使我们变得更好、更高效，并使患者接受更好的护理，”桑德勒说。“我认为这是我们的方向。”

这篇文章是《自然展望：医学诊断》的一部分，该增刊由Seegene提供财务支持。关于此内容《自然》杂志在与内容相关的所有编辑决策中保持完全独立。

参考资料下载：

https://citation-needed.springer.com/v2/references/10.1038/d41586-024-01132-2?format=refman&flavour=references