Nature子刊发表医学AI多模态融合亚型框架，能够融合处理放射组学、病理组学以及基因组学数据-CSDN博客

本文链接：https://blog.csdn.net/m0_59164520/article/details/147339486

这篇发表于Nature Communications的论文****聚焦于IDH野生型成人胶质瘤****，通过整合多模态数据，为该疾病的研究带来了新突破。

https://doi.org/10.1038/s41467-025-58675-9

研究团队****收集了122例患者的放射、病理、基因、转录和蛋白质组学数据****，运用多模态融合亚型（MOFS）框架，成功识别出三种具有不同特征的亚型：

MOFS1（神经前体亚型）预后较好，神经发育活性高；
MOFS2（增殖亚型）预后最差，增殖活性强且基因组不稳定；
MOFS3（富含肿瘤微环境亚型）预后中等，免疫和基质成分丰富，对免疫治疗敏感。

多模态融合亚型（MOFS）框架

在研究过程中，多种分析方法被综合运用。功能富集分析揭示了各亚型的生物学特性，基因组分析确定了特定的遗传特征，免疫浸润分析评估了免疫治疗潜力。

同时，研究还发现STRAP可作为MOFS2的预后生物标志物和潜在治疗靶点，而MOFS3中的基质浸润是重要的预后指标。为增强临床实用性，*团队开发了基于放射学特征的深度神经网络分类器，能无创预测MOFS亚型*。

基于放射学特征的深度神经网络分类器

对于从事医学AI研究的人员而言，该研究提供的多模态数据融合策略为解决医学数据复杂性问题提供了思路，有助于优化AI模型。此外，研究成果可辅助开发更精准的疾病诊断、预后预测和治疗方案推荐的AI工具，推动医学AI在肿瘤学领域的应用，助力实现个性化医疗。

项目实操

文中提到了两个点，我比较感兴趣，所以简单写了两段代码，演示一下这两部分的内容，*感兴趣的可以前往知识星球获取源代码*。

（1）利用Python软件包Yottixel选择最佳tile用于进一步分析。

实际测试效果

（2）文中提到“*进行特征选择和降维后，采用17种算法进行分类器的构建*”，这里我只是演示，所以只引入了10种算法，分析鸢尾花数据集。

核心思路如下：

定义基分类器：选择17种不同算法（此处简化到10种作为示例）。
训练基分类器：每个模型独立训练。
预测概率：每个模型输出分类概率（而非直接输出类别）。
结果融合：对概率进行平均，选择最高概率的类别作为最终结果。

可视化分析

一、文献概述

这篇文章通过整合多模态数据，提出了一种新的胶质瘤亚型分类框架，为IDH野生型胶质瘤的精准治疗和预后判断提供了重要依据。

1-1：研究背景

成人弥漫性胶质瘤是常见的原发性恶性中枢神经系统肿瘤，IDH野生型胶质母细胞瘤（GBM）侵袭性强、预后差。

此前基于转录组的分类在预测患者生存和治疗反应方面存在局限，多模态数据整合为肿瘤分层带来新视角。

1-2：研究方法

数据收集：*回顾性收集1194例IDH野生型胶质瘤患者数据*，根据数据完整性分为FAHZZU1、FAHZZU2、FAHZZU3三个队列，*涵盖MRI、组织测序、病理切片扫描等多模态数据*。
多模态数据处理：对MRI数据进行预处理和特征提取；对病理切片扫描数据进行转换、分割、选片和特征提取；对组织样本进行WES、RNA-seq和质谱分析；从公共数据库收集GBM数据并处理。
多模态融合聚类：*采用中间融合和后期融合相结合的方法*，通过11种算法对多模态数据进行中间融合，再基于Jaccard距离矩阵进行后期融合，确定最佳聚类数，获得最终聚类结果。
构建MOFS集成分类器：基于转录组表达谱开发集成分类框架，通过逻辑回归、Lasso算法等确定输入变量，用17种算法构建分类器。
其他分析：进行功能富集分析、基因组改变分析、肿瘤微环境分析、组织微阵列实验、免疫组化染色，构建基于MRI特征的深度神经网络模型预测MOFS亚型，并进行统计分析。

1-3：研究结果

多模态融合亚型识别：确定了三种MOFS亚型，即神经前体型（MOFS1）、增殖型（MOFS2）和富含肿瘤微环境型（MOFS3），PCA显示三种亚型在二维空间中明显分离。
各亚型特征：MOFS1在影像学和病理学上表现相对温和，富集神经发育相关通路；MOFS2具有侵袭性的影像学和病理学特征，富集增殖相关通路，基因组不稳定；MOFS3呈现环形强化伴中央坏死的影像学特征，富含免疫和基质成分，与TME相关通路显著相关。
评估与验证：单模态聚类与MOFS亚型一致性有限，多模态融合框架在预后判别上表现更优。MOFS亚型与传统分类系统有一定相关性，但在预测预后方面更具优势。
基因组改变特征：三种亚型在SNVs、INDELs和TMB上无显著差异，但在某些基因的突变频率和CNV上存在差异，MOFS2表现出较高的CNV负担和基因组不稳定性。
STRAP的作用：STRAP在MOFS2中特异性扩增和过表达，与预后不良相关，可能是MOFS2增殖表型的关键驱动因素。
免疫治疗反应：MOFS3肿瘤免疫和基质成分丰富，免疫治疗反应良好，而MOFS2患者对免疫治疗反应不佳。
基质对预后的影响：MOFS3中基质含量与预后相关，低基质含量的MOFS3患者预后与MOFS1相似，高基质含量的与MOFS2相似。
MRI分类器开发：基于MRI特征构建的DNN模型对MOFS亚型预测准确性较高，有助于临床应用。

1-4：研究讨论

MOFS亚型分类在预后判断和治疗策略制定上优于传统分类系统，但研究存在局限性，如依赖转录组数据、MRI分类器需在更大队列验证等。

未来研究可纳入更全面的多组学数据，整合单细胞RNA测序技术，以完善该分类系统，推动GBM个性化治疗发展。

二、方法细节

2-1：数据和样本收集

本研究获得了郑州大学第一附属医院人类科学伦理委员会批准（批准号：2019-KY-176和2023-KY-1028），并已取得患者对研究中所有新鲜肿瘤标本使用的知情同意。

研究回顾性收集了2015年至2021年在郑州大学第一附属医院接受根治性切除术的IDH野生型胶质瘤患者数据。

纳入标准为：

年龄≥18岁；原发性胶质瘤；
根据2021年世界卫生组织（WHO）分类重新诊断为IDH野生型胶质母细胞瘤（GBM）和低级弥漫性胶质瘤4；
入院前未接受过放疗或化疗；
临床数据和随访信息完整；
术前无严重系统性异常；术前MRI数据包括T1加权成像（T1WI）、对比增强T1加权成像（CE-T1WI）、T2加权成像（T2WI）、液体衰减反转恢复（FLAIR）成像
从扩散加权成像（DWI）获得的表观扩散系数（ADC）图，且图像质量良好、无明显差异；
苏木精 - 伊红（HE）染色病理切片清晰，扫描图像质量高；
病理组织保存完好。

排除标准为：

有脑部手术或创伤史；
术前接受过放疗或化疗；
MRI存在影响病变观察或描绘的伪影。

本研究共纳入1194例MRI数据完整且合格的IDH野生型胶质瘤患者。其中：

从202例患者处收集了新鲜手术肿瘤标本，这些标本立即在液氮中冷冻并储存于-80°C用于组织测序。
202例组织进行了RNA测序（RNA-seq），180例进行了质谱分析，122例进行了全外显子测序（WES）。
*对122例具有所有放射组学和测序数据的患者，通过扫描HE染色病理切片获取组织学全切片图像*（WSIs）。

此外，还从肿瘤边缘收集了5例相邻脑组织，并在术前采集了19例外周血样本作为WES的正常对照。

本研究将具有所有模态数据的122个样本指定为FAHZZU1队列，将具有转录组或质谱数据的80个样本指定为FAHZZU2队列，将仅具有MRI数据的992个样本指定为FAHZZU3队列。

2-2：MRI扫描和成像特征提取

患者的MRI图像在常规检查中使用3.0T MRI扫描仪（西门子Magnetom Skyra/Trio TIM、GE Discovery MR750、飞利浦Ingenia）获取。

扫描序列包括

轴位和矢状位T1WI
轴位T2WI
轴位T2 FLAIR成像
静脉注射0.1mmol/kg钆基造影剂后立即进行的轴位、矢状位和冠状位CE-T1WI。

ADC图

ADC图从轴位DWI获取，各序列采集参数如下：

T1WI和CE-T1WI：重复时间（TR）220 - 1750ms；回波时间（TE）2.3 - 24ms；回波链长度（ETL）1 - 12；层厚5mm；平均次数/激励次数1；翻转角（FA）70° - 111°；视野（FOV）220×192 - 240×240mm²；矩阵256×162 - 320×256mm²。
T2WI：TR 1873 - 5390ms；TE 70 - 117ms；ETL 16 - 32；层厚5mm；平均次数/激励次数1；FA 90° - 142°；FOV 220×192 - 240×240mm²；矩阵320×238 - 512×512mm²。
FLAIR：TR 4500 - 8400ms；TE 85 - 150ms；反转时间（TI）1670 - 2250ms；ETL 1 - 38；层厚5mm；平均次数/激励次数1；FA 90° - 150°；FOV 220×192 - 240×240mm²；矩阵256×179 - 256×256mm²。
DWI：图像由相应的后处理工作站处理，ADC图像由b值为0和1000s/mm²的DWI计算得出。序列参数包括：TR 2121 - 6000ms；TE 77 - 119ms；ETL 1 - 82；层厚5mm；平均次数/激励次数1；FA 90°；FOV 220×220 - 240×240mm²；矩阵152×114 - 192×192mm²。所有成像平面的ADC图基于单指数模型逐体素生成。

首先，采用N4ITK算法对所有序列进行偏置场校正。通过三线性插值将体素重采样为1×1×1mm³ ，以轴位重采样的CE-T1WI为模板、互信息为相似性度量，使用3D Slicer软件对每位患者进行多序列MRI刚性配准，生成配准图像rT1WI、rCE-T1WI、rT2WI、rFLAIR和rADC。

对rT1WI、rCE-T1WI、rT2WI和rFLAIR进行直方图匹配灰度归一化，设置直方图级别为1024、匹配点数为10以实现更精细匹配并保留更多细节。

一位有10年以上头部MRI诊断经验的神经放射科副主任医师使用ITK-SNAP软件，在rFLAIR、rT2WI和rCE-T1WI图像的轴位手动勾勒肿瘤感兴趣区域（ROI），得到肿瘤感兴趣体积（VOI），VOI定义为肿瘤的增强区域、非增强区域和坏死区域。

VOI轮廓基于FLAIR图像绘制，rT2WI和rCE-T1WI用于交叉核对肿瘤范围和微调肿瘤轮廓。对所有序列在VOI内进行Z-score归一化，使ROI强度均值为0、标准差为1。该放射科医师和一位有10年以上工作经验的神经外科副主任医师，采用简单随机抽样方法从组内随机选择100例患者重新绘制VOI，使用组内相关系数（ICC）评估重测数据集的组内可靠性和多描述数据集的组间可靠性，保留ICC≥0.75的特征。

将获得的VOI与配准后的rT1WI、rCE-T1WI、rT2WI、rFLAIR和rADC图像叠加。

使用PyRadiomics提取三类特征，包括一阶强度统计、形状描述符和高阶纹理特征。采用灰度共生矩阵（GLCM）、灰度行程长度矩阵（GLRLM）、灰度大小区域矩阵（GLSZM）、灰度依赖矩阵（GLDM）和邻域灰度差矩阵（NGTDM）这五种基本矩阵定义纹理特征。

本研究从原始图像、小波图像和高斯拉普拉斯图像中提取成像特征，在Github仓库提供PyRadiomics参数文件以提高特征提取的可重复性（https://github.com/Zaoqu-Liu/MOFS）。

最终从五个MRI序列中提取了5929个特征，保留了4271个ICC≥0.75的特征。

2-3：WSI扫描和特征分析

使用数字病理扫描仪（KF - PRO - 120 - HI）对病理切片进行****20倍放大扫描****，获取原始全切片图像（WSI）。随后，对原始WSI依次进行颜色空间转换、组织分割、斑块选择和特征提取。

具体而言，将5倍分辨率的WSI从RGB颜色空间转换为Lab颜色空间，运用Otsu算法计算分割阈值，从WSI中分割出组织。

将获得的组织图像在20倍放大倍数下切割成多个1024×1024的斑块，这些斑块相互邻接覆盖整个WSI。

****利用Python软件包Yottixel选择最佳斑块用于进一步分析****38。最后，使用CellProfiler（v4.2.5）软件从每个选定的斑块中提取特征。

2-4：多模态融合无监督聚类

整合多模态数据能够揭示在单模态分析中可能被掩盖的因果特征，通过探究不同模态间的相互作用以及这些关系如何导致患者生存和药物反应等结果的差异，从而对疾病的复杂性形成全面的理解24,39。

多模态数据融合策略根据融合时间可分为早期融合、中期融合和晚期融合24。早期融合将所有模态的数据连接成一个单一矩阵，这可能导致 “维度诅咒” 和后续分析中的变量偏移，并且无法校正多模态数据的不平衡，对下游分析产生不利影响。

晚期融合则是分别分析每个组学层，然后整合结果以产生一致的结论和输出，但这种方法牺牲了多模态数据的互补交互信息。中期融合通常是同时进行数据整合和聚类，以建立不同组学层之间的依赖关系，识别多模态联合簇，并推断患者分层和分子机制24,40。

****一般来说，中期融合更为先进，但对融合算法的要求也更高****24。在本研究中，我们对多模态数据（FAHZZU1队列）进行中期融合，整合了11种基于不同原理的算法，随后对这11种算法得到的结果进行晚期融合，以获得最终的聚类结果（图1A）。

图1A 图1A

数据预处理

对于突变数据，生成二进制矩阵，其中“0”代表野生型，“1”表示突变。

对拷贝数变异（CNV）数据以片段平均值进行分析，以反映染色体的扩增和缺失情况。

RNA测序（RNA-seq）数据预处理为log2(FPKM)值，蛋白质数据同样归一化为log2强度值，以确保数据的可比性。

对于病理和放射学数据，通过特征提取得到定量指标，这些指标代表了多种描述信息，包括MRI的一阶统计量、纹理和形状特征，以及病理学的细胞水平属性。

聚类变量选择

为确定最佳聚类变量数量，首先计算放射学、全切片图像（WSI）、转录组学和蛋白质组学等各模态层变量的中位数绝对偏差（MAD）。

然后从各层中选择排名靠前的变量，并组合成2640种变量组合（补充数据3）。针对每种组合计算聚类预测指数（CPI）25和GAP统计量26，根据CPI和GAP之和最高的组合，确定最终聚类的最佳聚类数和输入特征。

CPI的计算使用IntNMF R包，GAP统计量的计算使用mogsa R包。

多模态数据中期融合

运用11种基于不同原理的算法进行多模态数据的中期融合，这些算法包括CIMLR、CPCA、iClusterBayes、IntNMF、LRAcluster、MCIA、NEMO、PINSPlus、RGCCA、SGCCA和SNF29（补充数据2）。

结果转换与相似性评估

将聚类结果转换为二进制矩阵41，每个聚类用单独的列表示，每个样本在其所属聚类对应的列中赋值为1，在其他列中赋值为0。

利用11种算法的二进制结果计算Jaccard指数，以此评估样本之间的相似性。

获得共识结果

基于Jaccard距离矩阵，采用聚类分析的聚类（COCA）方法24从11种算法中获得共识结果。

具体操作是，每次迭代随机选择70%的样本，重复该过程10,000次以生成共识矩阵。

评估聚类数量的适用性

使用模糊聚类比例（PAC）27和Calinski-Harabasz指数（CHI）28评估聚类数量的合理性。

确定核心样本集

计算每个聚类的轮廓系数42，去除轮廓系数低于0.4的样本，从而获得核心样本集。

2-5：MOFS集成分类器的开发

鉴于公共数据库中存在大量高质量的胶质母细胞瘤（GBM）转录组数据，*研究人员开发了一种基于转录组表达谱的集成分类框架，用于识别外部队列中的MOFS亚型*。

该分类器的开发过程以FAHZZU1队列作为训练集，具体步骤如下（图S7）：

图S7 图S7

基因筛选

针对每个MOFS亚型，对所有基因进行逻辑回归和受试者工作特征（ROC）分析。

筛选出错误发现率（FDR）<0.05且ROC曲线下面积（AUC）>0.7的基因，这些基因被认为与相应亚型具有较好的关联性，后续用于进一步分析。

特征选择与降维

运用Lasso算法对筛选出的基因进行特征选择和维度降低。

Lasso算法通过对回归系数施加约束，使得一些系数变为0，从而实现特征选择和降维的目的。

最终，将Lasso系数不为0的基因作为输入变量用于构建分类模型。

构建集成分类器

使用17种算法构建集成分类器，这些算法包括：

GST
自适应增强算法（AdaBoost）
决策树（DT）
弹性网络（Enet）
梯度提升决策树（GBDT）
k近邻算法（KNN）
Lasso回归
线性判别分析（LDA）
朴素贝叶斯（NBayes）
神经网络（NNet）
主成分分析（PCA）
随机森林（RF）
岭回归
逐步逻辑回归（StepLR）
奇异值分解（SVD）
支持向量机（SVM）
XGBoost

每种算法的输出为样本属于三种MOFS亚型的概率，且这三种概率之和为1。若算法得出的中位生存趋势与训练集不一致，则判定该算法不合格。

确定最终分类结果

对于每个亚型，将所有合格算法的平均判别概率作为该样本属于该亚型的最终概率，概率最高的亚型即为样本的最终分类结果（图S7A）。

模型评估与验证

首先，使用带有真实MOFS标签的所有样本对分类器进行训练。

在FAHZZU1队列中，按照60:40的比例随机划分出两个独立子集FAHZZU1-test1和FAHZZU1-test2。两个子集的混淆矩阵结果均显示，该分类器对三种MOFS亚型的分类准确率较高，预测的亚型标签与实际标签具有良好的一致性（图S7B-C）。

image-20250418101011080

随后，在多个数据集上，分别基于每百万转录本数（TPM）和每千碱基外显子模型每百万映射片段的片段数（FPKM）两种归一化方案评估模型的稳健性。

FAHZZU1（图S7D）和中国胶质瘤基因组图谱RNA测序（CGGA-RNAseq，图S7E）队列的混淆矩阵进一步证实，该分类器在不同归一化方案下均具有较高的准确性。

确保模型的公平性和可靠性，研究人员还纳入一系列临床和治疗相关变量进行分层分析，结果表明模型在各个人口统计学和治疗亚组中表现均衡。综合这些结果，充分证明了该集成MOFS分类器的稳定性。

2-6：基于MRI特征的深度神经网络模型预测MOFS亚型

在临床实践中，放射学图像相较于分子组学数据具有便捷、成本低和非侵入性获取等优势。

为推动研究成果的临床转化，本研究采用基于弹性反向传播的神经网络算法，进一步提升研究的临床实用性，具体过程如下：

特征选择

针对每个MOFS亚型，保留单变量逻辑回归P值小于0.01的MRI成像特征。接着，运用Bootstrapping方法从所有样本中随机抽取70%的样本进行逻辑回归，重复该过程1000次。

保留在重采样过程中显著性水平始终高于95%（P<0.05）的基因。

随后，使用Lasso算法进行进一步的降维和模型简化，将Lasso系数不为零的输入变量作为建模的输入变量。

超参数优化

将FAHZZU1队列按7:3的比例划分为训练集和测试集。

利用neuralnet软件包构建神经网络模型，模型参数包括学习率、损失函数、激活函数、隐藏层数以及每层的节点数。

通过网格搜索进行超参数优化，选择在测试集上准确率最高的参数组合作为最终模型。

模型验证

使用混淆矩阵和ROC分析对训练集、测试集、FAHZZU2验证集和FAHZZU3验证集进行模型验证。

三、数据+代码

3-1：数据可用性

本研究中生成的原始全外显子测序（WES）和RNA测序（RNA-seq）数据已存入基因组序列数据库（Genome Sequence Archive，GSA），存档编号为HRA006184。

支持本研究结果的基于质谱（MS）的原始蛋白质组学数据已存入iProX数据库，存档编号为PXD062023。

携带抗PD - 1免疫治疗信息的胶质母细胞瘤（GBM）患者的原始转录组测序数据来自序列读取档案库（Sequence Read Archive，SRA，https://www.ncbi.nlm.nih.gov/sra）数据库，由Zhao等人上传（SRA存档号：PRJNA482620）。

由于数据隐私法的规定，原始放射组学数据和病理组学数据受到保护，无法公开获取。处理后的组学数据可在https://doi.org/10.5281/zenodo.14898297获取。本研究中使用的数据处于管控之下，仅在合理请求下向合格研究人员提供。

3-2：代码可用性

MOFSR软件包可在Github上获取，网址为https://github.com/Zaoqu-Liu/MOFS。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述