Nature子刊发表的这个医学AI模型，能够有效处理临床研究中的小数据集、稀疏特征和缺失数据

最新推荐文章于 2025-05-08 20:19:02 发布

小天才学习机打游戏

最新推荐文章于 2025-05-08 20:19:02 发布

阅读量896

点赞数 8

文章标签：人工智能知识图谱开源服务器 windows

本文链接：https://blog.csdn.net/m0_59164520/article/details/147246359

版权

在癌症治疗领域，尽管近年来取得了显著进展，但许多患者仍然面临治疗失败或耐药的问题。

免疫疗法虽为癌症治疗带来了变革，却难以精准识别最佳响应患者，现有预测生物标志物十分有限。在此背景下，深度学习Transformer模型的应用为解决这些难题带来了新的可能。

本文提出了Clinical Transformer这一创新的深度学习框架。它融合了自监督、渐进式和迁移学习策略，能够有效处理临床研究中的小数据集、稀疏特征和缺失数据。

在多个独立数据集的生存预测任务中，Clinical Transformer的表现超越了CoxPH、随机生存森林等传统方法，展现出卓越的性能。

同时，该框架具备可解释性，通过分析特征重要性和功能组，揭示了与癌症治疗反应和生存结局相关的关键因素，为临床决策提供了有力支持。

Clinical Transformer架构

对于从事医学AI研究的人员来说，Clinical Transformer框架不仅提供了一种更精准的癌症治疗预测工具，还为后续研究开辟了新的方向。

这张图通过Kaplan - Meier曲线及学习曲线，展示Clinical Transformer在Chowell等人数据集等上患者分层的优势，以及在不同数据集上预训练对其性能提升的积极作用，同时与随机森林、TMB指标等进行对比。

它在实际应用中也面临计算限制、对数据质量的依赖等挑战，这为研究者们提供了进一步优化和创新的契机。通过不断改进和拓展，有望推动医学AI在癌症治疗领域的应用，为患者带来更好的治疗效果。

一、文献信息

1-1：研究背景

癌症治疗取得进展，但许多患者仍面临治疗失败或耐药问题。免疫疗法虽有变革，但难以识别最佳响应患者，目前仅有少数预测生物标志物获FDA批准。

深度学习Transformer模型在多领域广泛应用，其自注意力机制可评估疾病生物标志物重要性，但临床应用需满足兼容小数据集、处理稀疏特征等标准。

1-2：Clinical Transformer框架

组成部分

包括输入无关建模（整合多模态数据、处理稀疏和缺失数据）、自监督和迁移学习（分析临床小数据集）、可解释性模块（提供生物学见解）、生成模型（创建合成患者群体预测虚拟响应）。

学习策略

学习策略	描述
直接学习	模型从 scratch 训练用于生存或响应预测
渐进学习	先进行自监督学习预测掩码特征，再微调用于特定任务
迁移学习	在大量数据上预训练，再微调用于预测生存或患者响应

1-3：模型性能评估

数据集使用

使用12个来自临床试验和真实世界的数据（涵盖多种癌症类型），共156,192名患者，用于多种学习任务。

对比实验与结果

与CoxPH、随机生存森林等方法对比，在多个数据集上Clinical Transformer表现更优。

例如在Chowell等研究的泛癌数据集中，其C-index达0.73，优于Chowell等的随机森林模型（0.68）和TMB（0.55）；

在MYSTIC和OAK试验的IO治疗组评估中，C-index分别为0.67和0.669 ，也超越其他模型。

1-4：模型应用探索

特征重要性分析

使用特征排列重要性算法，在Chowell等的数据集中，白蛋白、NLR等是重要特征，而HLA进化差异、年龄等影响较弱。

功能组研究

通过计算余弦相似度划分功能组，如在Chowell等数据集中分为4个功能组，在Samstein等数据集中分为50个功能组。部分功能组与免疫治疗生存结局相关，如C47和C48与短期生存相关，C8与免疫反应调节相关。

构建线性模型

将功能组表示为二元变量输入CoxPH模型预测患者总生存期，在部分数据集上比TMB表现更好，展示了将复杂模型转化为可解释线性模型的潜力。

1-5：扰动分析与发现

分析方法

扰动患者输入特征，对比扰动前后生存分数，观察特征交互影响。

分析结果

发现variant和invariant人群，variant人群在扰动TMB和NLR等特征时生存分数变化大，且高TMB和低NLR倾向于产生更大生存分数变化；

invariant人群则不受扰动影响，且健康状况较差。在黑色素瘤研究中，扰动T细胞基因表达签名发现与免疫检查点阻断反应和耐药相关的基因签名。

1-6：研究总结与展望

优势：Clinical Transformer预测更准确，可解释性强，能有效处理多种数据，挖掘特征关系，为临床研究提供见解。
局限：存在计算限制，依赖数据质量，需大量相似特征患者预训练，且扰动分析可能存在“幻觉”。
未来方向：探索新的位置编码机制，整合更多类型数据，如元数据和先验知识，以更好地理解疾病。

1-7：关键问题

Clinical Transformer框架与其他生存预测模型相比，优势体现在哪些方面？

Clinical Transformer框架通过自监督、渐进式和迁移学习，能有效处理小数据集，在多个独立数据集上的生存预测中，其C-index更高，如在Chowell等研究的泛癌数据集中达0.73 ，而对比模型如Chowell等的随机森林模型为0.68，TMB为0.55。

同时，它能更好地分层患者，例如在Chowell等数据集分类患者时，其风险比（HR）为0.29，优于其他对比模型，还可通过可解释性模块识别重要特征和功能组，为临床决策提供更有价值的信息。

Clinical Transformer框架中的扰动分析有什么作用？

扰动分析可探索患者对治疗的替代反应，通过扰动输入特征，对比预测生存分数，能识别可能从特定特征调节中获益的患者，如在对短期幸存者的特征扰动中，发现高TMB和低NLR倾向于使部分患者生存分数改善。

还能揭示特征交互对生存结局的影响，发现variant和invariant人群，为理解患者对治疗的敏感性差异提供依据。

在黑色素瘤研究中，通过扰动T细胞基因表达签名，识别出与免疫检查点阻断反应和耐药相关的基因签名，有助于筛选可能从免疫治疗中获益的患者。

Clinical Transformer框架在实际临床应用中可能面临哪些挑战？

计算上存在限制，模型目前只能处理几百个输入特征，常需数据聚合，如将RNA基因表达聚合成签名。

有效性能依赖在数千名有相似特征患者上的预训练，对数据量要求高。模型性能和可解释性依赖特征质量，缺乏直接可解释性的特征会限制其提供可操作见解。

此外，扰动分析假设患者生物学和生存结局有足够自然变异，且其生成性可能导致“幻觉”，需在独立数据集上验证结果，增加了应用的复杂性。

二、框架分析

2-1：Clinical Transformer框架概述

数据资源（Data Resources）

Clinical Transformer框架的数据来源广泛，包括AACR Project GENIE、cBioPortal、TCGA以及临床试验（Clinical Trials）。

这些数据涵盖多个维度：

组学数据（Omics）：包含突变（Mutations）、基因表达（Gene Expression）、蛋白质组学（Proteomics）、肿瘤微环境（TME ）信息，用于从分子层面了解疾病特征。
患者健康信息（Patient Health）：有实验室检测指标（如白蛋白albumin ）、人口统计学信息（如年龄age ），可反映患者基础健康状况。
治疗相关（Treatment）：涉及免疫疗法（Immunotherapy）、靶向治疗（Targeted therapy）、化疗（Chemotherapy）等治疗方式，以及总生存期（Overall Survival）、无进展生存期（Progression - free Survival）、疾病进展（Disease progression）等治疗结局数据。

模型构建与学习（Deep Neural Network相关部分）

先利用深度神经网络进行自监督学习（Self - supervised learning），挖掘数据内部特征和规律。

再通过迁移学习（Transfer Learning），将在其他相关数据上学习到的知识迁移过来，构建专门用于生存预测（Specialized model for survival prediction）的深度神经网络模型，输出总生存期、无进展生存期等结果。

模型可解释性（Model Interpretability）

通过分析特征重要性（Feature Importance），可明确不同特征（如x1 - x8 ）对结果影响程度的排序；研究特征相互作用（Feature Interactions），能发现特征间关联关系，进而确定功能模块（Functional Modules），解释模型决策依据。

生成式AI（Generative AI）

利用患者数据创建数字孪生（Digital Twin），经扰动模拟（Perturbation Simulation），探索基因验证因素、环境因素、治疗选择等对生存分数（Survival Score）的影响，预测患者治疗反应轨迹（Response Trajectory），区分非响应患者和响应患者的数字孪生。

2-2：Clinical Transformer模型架构

输入特征（Input Features）

输入特征以[特征名称, 特征值]的键值对形式呈现，如[EGFR, 1] 、[SEX, M] 、[AGE, 65] 等。

其中，特殊标记“[TASK, 1]”用于标识输入样本用于患者生存或分类预测任务；“[MASK, n]” （n为数字）用于自监督预训练阶段，随机掩码部分特征，让模型学习预测被掩码特征。

Transformer编码器（Transformer Encoder）

Transformer编码器接收输入特征，将其编码为嵌入向量（Embeddings）。这些嵌入向量包括结果嵌入（Outcome Embeddings）和特征嵌入（Feature Embeddings）。结果嵌入用于生成患者生存曲线等预测结果；特征嵌入则是对输入特征的一种表示，在自监督学习中发挥作用。

自监督（Self - Supervision）

在自监督学习过程中，被掩码特征（如[HER2, 1] 、[TP53, 1] 、[NLR, 3] ）的嵌入向量参与模型训练，模型需预测被掩码特征，通过这种方式学习特征表示，提升模型对数据特征的理解和学习能力，为后续生存预测等任务奠定基础。

2-3：迁移和渐进学习与自监督预训练

自监督预训练（Self - supervised pre - training）

使用输入数据A对Transformer编码器进行自监督预训练。

在这个过程中，通过掩码部分特征（如[HER2, 1] 、[TP53, 1] 、[NLR, 3] ），让模型预测被掩码特征，从而学习数据特征表示。

此时模型初步建立对数据的理解，输出的生存曲线是浅灰色，代表模型在预训练阶段的初步性能。

监督微调（Supervised fine - tuning）

迁移学习（Input Data A ≠ Input Data B ）：当输入数据B与预训练数据A不同时，将预训练阶段Transformer编码器学习到的权重迁移过来，在新的输入数据B上进行监督微调。模型针对新任务进一步优化参数，输出更精准的生存曲线（黑色和紫色），这一过程就是迁移学习，使模型能在不同数据集上快速适应并发挥作用。
渐进学习（Input Data A = Input Data B ）：若输入数据B与预训练数据A相同，模型同样迁移预训练权重并进行监督微调，在同一数据集上先通过自监督学习泛化理解数据，再针对特定任务（如生存预测）进一步优化，提升性能，这种情况被称为渐进学习。

三、患者分层和模型可解释性### 图片解读

3-1：全局特征重要性

将Clinical Transformer应用于Chowell等人的数据集，通过特征排列重要性算法计算各特征重要性。

进行了10次排列测试数据划分（N = 10 permutation test data splits）。箱线图展示了不同特征的重要性，中心黑线是中位数，箱体上下限为第1和第3四分位数，须长为1.5倍四分位距，菱形为异常值。

可见白蛋白（Albumin）、中性粒细胞与淋巴细胞比率（NLR）等特征重要性较高。

3-2：患者分层

根据Clinical Transformer生存分数的四个分位数截断值（Q1: n = 241, Q2: n = 304, Q3: n = 330, Q4: n = 303），将患者分为不同人群组，在80%训练集上绘制Kaplan - Meier（KM）曲线。

虚线表示10个模型在训练集上的中位生存时间和概率，阴影区域为95%置信区间，展示不同组患者生存概率随时间变化情况。

3-3：人群特征富集

在用于患者分层的四个人群（基于20%测试集上的10个模型，n = 296）中分析原始特征值富集情况。

数值特征y轴为各变量单位，二元特征y轴为患者比例。

采用Bonferroni校正的双侧t检验，不同符号表示不同P值范围，反映各人群中特征值的差异显著性。

3-4：特征交互与功能组

根据余弦交互分数绘制特征交互图。

聚类测试集中特征成对余弦相似性时，确定了四个功能组，不同颜色代表不同功能组。

黑线表示组内交互，浅蓝色线表示组间交互，线粗细代表余弦相似性大小，展示特征间关联关系。

3-5：主要功能组及其对患者生存的影响

在Samstein等人的数据集里，展示排名前10的功能组通过Cox比例风险模型（CoxPH）计算的风险比（HR）及95%置信区间（error bars）。

为便于展示，每个功能组显示的基因数上限设为10 ，体现不同功能组对患者生存的影响程度。

3-6：使用功能组#8在发现和验证数据集里的患者分层

在发现数据集（Samstein等人）以及两个独立验证数据集（Miao等人和TCGA）中，对比功能组C8中至少有1个突变（Mut）与无突变（Wt）患者的KM曲线。

给出风险比（HR）、95%置信区间及Wald统计检验的P值，验证该功能组对患者生存分层的作用。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述