nature | 通用医学人工智能的基础模型！-CSDN博客

本文链接：https://blog.csdn.net/xx_nm98/article/details/142885366

高度灵活、可重用的人工智能（AI）模型的快速发展可能会在医学领域带来新的能力。作者提出了一种新的医学AI范式，称之为通用医学AI（GMAI）。GMAI模型将能够使用非常少或不需要特定任务的标记数据来执行多样化的任务集。GMAI将通过在大型、多样化的数据集上进行自监督学习来构建，灵活地解释不同的医学方式组合，包括来自影像、电子健康记录、实验室结果、基因组学、图表或医学文本的数据。模型将反过来产生富有表现力的输出，如自由文本解释、口头建议或图像注释，展示先进的医学推理能力。在这里，确定了GMAI的一系列高影响力潜在应用，并规划了实现它们所需的特定技术能力和训练数据集。预计，GMAI支持的应用将挑战当前用于监管和验证医学AI设备的策略，并将改变与收集大型医学数据集相关的实践。

学术地址：

https://www.nature.com/articles/s41586-023-05881-4

前世今生

基础模型——最新一代的AI模型——在庞大且多样化的数据集上进行训练，并且可以应用于众多下游任务。单个模型现在能够在广泛的问题的上实现最先进的性能，从回答有关文本的问题到描述图像和玩视频游戏。这种多功能性与前一代AI模型形成了鲜明对比，后者被设计为一次解决特定任务。

由于数据集的增长、模型规模的增加和模型架构的进步，基础模型提供了以前未见到的能力。例如，在2020年，语言模型GPT-3解锁了一种新能力：通过上下文学习，模型能够执行它从未明确训练过的全部新任务，仅仅通过学习包含几个例子的文本解释（或“提示”）。此外，许多最新的基础模型能够接收和输出不同数据方式的组合。例如，最近的Gato模型可以聊天、描述图像、玩视频游戏和控制机器人手臂，因此被描述为通用代理。由于某些能力仅在最大的模型中出现，因此预测更大模型将能够实现什么仍然是一个挑战。

尽管已经有早期努力开发医学基础模型，但由于难以获取大型、多样化的医学数据集、医学领域的复杂性以及这一发展的新近性，这种转变尚未广泛渗透到医学AI中。相反，医学AI模型主要是采用特定任务的方法进行开发。例如，胸部X射线解释模型可能在每个图像都被明确标记为肺炎阳性或阴性的数据集上进行训练，可能需要大量的注释工作。这个模型只会检测肺炎，并且无法执行编写全面的放射学报告的完整诊断练习。这种狭窄的、特定任务的方法产生了不灵活的模型，仅限于执行训练数据集及其标签预定义的任务。在当前实践中，这些模型通常无法适应其他任务（甚至无法适应同一任务的不同数据分布）而无需在另一个数据集上重新训练。在食品和药物管理局批准的500多个临床医学AI模型中，大多数只被批准用于1或2个狭窄的任务。

在这里，作者概述了基础模型研究的最新进展如何能够打破这种特定任务的范式。这些包括多模态架构的兴起和自监督学习技术的发展，这些技术不需要明确的标签（例如，语言建模和对比学习），以及上下文学习能力的出现。这些进步将使GMAI的发展成为可能，GMAI是一类先进的医学基础模型。“通用”意味着它们将在医学应用中广泛使用，基本上取代特定任务的模型。

直接受到医学领域之外的基础模型的启发，作者确定了三个关键能力，将GMAI模型与常规医学AI模型区分开来（图1）。首先，适应新任务的GMAI模型将像用普通英语（或其他语言）描述任务一样简单。模型将能够通过向它们解释新任务来解决以前未见到的问题（动态任务规范），而无需重新训练。其次，GMAI模型可以接受输入并使用不同组合的数据方式产生输出（例如，可以接收图像、文本、实验室结果或任何组合）。这种灵活的互动性与更僵化的多模态模型的约束形成对比，后者始终使用预定义的数据方式集作为输入和输出（例如，必须始终一起接收图像、文本和实验室结果）。第三，GMAI模型将正式表示医学知识，使它们能够通过以前未见到的任务进行推理，并使用医学上准确的语言来解释它们的输出。

作者列出了实现医学AI这一范式转变的具体策略。此外，描述了这新一代模型将实现的一系列可能具有高影响力的应用。最后，指出了GMAI要实现其承诺的临床价值必须克服的核心挑战。

匠心独运

图1：GMAI模型流程概述。a，GMAI模型通过自监督学习等技术在多种医学数据方式上进行训练。为了实现灵活的互动，可以将图像或电子健康记录（EHR）中的数据与语言（文本或语音数据的形式）配对。接下来，GMAI模型需要访问各种医学知识来源以执行医学推理任务，解锁可以在下游应用中使用的丰富功能。然后，生成的GMAI模型执行用户可以实时指定的任务。为此，GMAI模型可以从知识图谱或数据库等来源检索上下文信息，利用正式的医学知识推理以前未见过的任务。b，GMAI模型为临床学科的众多应用奠定了基础，每个应用都需要进行仔细的验证和监管评估

图2：GMAI三个潜在应用的示意图。a，GMAI可以实现多功能且自解释的床旁决策支持。b，基于基础的放射学报告配备了可点击的链接，用于可视化每个发现。c，GMAI有潜力对模型开发过程中从未遇到过的现象进行分类。在增强手术中，通过利用医学领域知识和地形上下文，逐步推理解释罕见的异常发现。所示示例受到案例报告的启发。

总结展望

基础模型有潜力彻底改变医疗保健。所描述的一类先进的基础模型，GMAI，将能够交替解析多种数据模态，即时学习新任务，并利用领域知识，为几乎无限的医学任务范围提供机会。GMAI的灵活性允许模型在新环境中保持相关性，并跟上新兴疾病和技术的步伐，而不需要不断地从头开始重新训练。基于GMAI的应用将部署在传统的临床环境和智能手机等远程设备上，预测它们将对不同受众有用，既可以面向临床医生的应用，也可以面向患者的应用。

尽管前景光明，GMAI模型也带来了独特的挑战。它们的极端多功能性使它们难以全面验证，而且它们的规模可能会带来更高的计算成本。与数据收集和访问相关的特定困难，因为GMAI的训练数据集不仅需要庞大，还需要多样化，并有适当的隐私保护。呼吁AI社区和临床利益相关者尽早认真考虑这些挑战，以确保GMAI始终如一地提供临床价值。最终，GMAI为医疗保健带来了前所未有的可能性，支持临床医生在一系列基本任务中，克服沟通障碍，使高质量的护理更加广泛地可获得，并减少临床医生的行政负担，让他们有更多的时间与患者相处。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述