结合影像组学和病理组学数据构建多模态模型，在新辅助化疗之前实现对患者病理完全缓解状态的预测

小罗碎碎念

在乳腺癌治疗领域，准确预测新辅助化疗（NAC）的病理完全缓解（pCR）对治疗决策意义重大。这篇发表于Science Advances的论文，聚焦于利用医学AI技术解决该问题，开发了多模态集成全自动管道系统（MIFAPS）。

研究团队整合了预处理磁共振成像（MRI）、全切片图像（WSI）和临床风险因素数据，构建了MIFAPS。

研究纳入1004例患者数据，涵盖回顾性和前瞻性研究。MIFAPS在多个测试集中展现出卓越性能，其AUC在合并外部测试集和前瞻性测试集分别达到0.882和0.909，显著超越单模态模型。

通过模型可视化和生物学基础探索发现，高深度学习分数与免疫相关通路以及肿瘤微环境中抗肿瘤细胞的促进有关。

从医学AI研究角度看，该研究为乳腺癌pCR预测提供了新方向。自动化图像分割减少人为干扰，多网络集成发挥优势提升预测效果。

不过，研究也存在样本量不足、模型泛化性有待提高等问题。这为后续研究提供了思路，如扩大样本规模、优化模型融合方式，从而推动医学AI在乳腺癌治疗预测中的进一步发展与应用。

---

交流群

欢迎大家加入【医学AI】交流群，本群设立的初衷是提供交流平台，方便大家后续课题合作。

目前小罗全平台关注量67,000+，交流群总成员1500+，大部分来自国内外顶尖院校/医院，期待您的加入！！

由于近期入群推销人员较多，已开启入群验证，扫码添加我的联系方式，备注姓名-单位-科室/专业，即可邀您入群。

---

知识星球

对推文中的内容感兴趣，想深入探讨？在处理项目时遇到了问题，无人商量？加入小罗的知识星球，寻找科研道路上的伙伴吧！

---

一、文献概述

1-1：背景

乳腺癌是女性常见恶性肿瘤，NAC是局部晚期乳腺癌主要治疗手段，治疗前准确预测pCR对制定治疗方案至关重要。

现有预测方法存在局限性，如MRI预测pCR敏感性低，传统影像技术和单模态深度学习模型准确性待提高，多模态融合对乳腺癌pCR预测价值尚不清楚。

---

1-2：方法

• 数据收集：纳入1004例局部晚期乳腺癌患者，包括回顾性研究（478例）和前瞻性研究（109例），收集临床、MRI和全切片图像（WSI）数据。
• 模型构建：MIFAPS整合MRI、WSI深度学习特征和临床特征，通过逻辑回归构建。MRI模型自动分割和分类，WSI模型基于多实例学习和注意力模块，临床模型筛选风险因素构建。
• 评估指标：采用受试者工作特征曲线（ROC）、精确召回率曲线（PR）等评估模型性能。

---

1-3：结果

• 临床特征：不同数据集pCR和非pCR患者在年龄、肿瘤大小、雌激素受体等多方面存在差异，但不同数据集间pCR和非pCR患者分布无显著差异。
• 模型性能：MIFAPS在内部、合并外部和前瞻性测试集表现良好，AUC分别为0.932、0.882和0.909 ，优于单模态和双模态模型。
• 亚组分析：在不同分子亚型、化疗方案和病灶大小亚组中，MIFAPS均有较好预测能力。
• 模型可视化与生物学基础：可视化显示MRI模型关注肿瘤及周围区域，WSI模型高评分患者关注肿瘤组织，低评分患者关注肿瘤和纤维组织。高评分患者与免疫反应通路相关，免疫细胞组成有差异。
• 误分类分析：分析MIFAPS预测错误病例，发现MRI可能因对肿瘤学习不足而关注非肿瘤区域，WSI中不同pCR状态患者高关注区域细胞类型不同，错误病例中高评分患者免疫反应通路下调。

---

1-4：讨论

MIFAPS在预测乳腺癌NAC的pCR方面优于单模态模型，多模态深度学习有重要意义。

本研究优势在于自动化图像分割、多网络集成和前瞻性评估，但存在样本量有限、模型泛化性不足等局限。

未来需扩大样本量、改进模型融合方法和探索多尺度图像等。

---

二、MIFAPS框架

2-1：基于MRI的深度学习特征开发

自动分割

• 输入数据：将T2WI（T2加权成像）、DWI（扩散加权成像）、CE - T1WI（对比增强T1加权成像）三种不同序列的MRI图像输入系统。
• 编码 - 解码结构：通过Encoder（编码器）对输入图像进行特征提取，中间经过Edge feature extraction module（边缘特征提取模块 ），以及包含Channel attention（通道注意力）和Spatial attention（空间注意力）机制的模块，增强对关键特征的提取，再由Decoder（解码器）还原图像，实现肿瘤的自动分割。

自动分类

• 模型应用：将分割后的图像分别输入不同的深度学习模型，包括ResNet101、DenseNet、ResNeXt101 等。这些模型进一步提取图像特征。
• 特征整合：从不同模型输出的特征，分别对应T2WI、DWI、CE - T1WI序列，最后将这些特征进行Average（平均）操作，得到MRI signature（MRI特征） ，用于后续的分析和预测。

---

2-2：基于全切片图像（WSI）的深度学习特征开发

WSI平铺（WSI tiling）

将WSI图像进行处理，通常是分割成多个小块 ，以便后续进行特征提取，就像把一幅大图像拆分成多个小图像单元来分析。

特征提取（Feature extraction）

通过三个模块（Block 1、Block 2、Block 3 ）逐步提取图像特征。

每个模块对输入图像进行运算和特征挖掘，前一个模块的输出作为下一个模块的输入，层层递进，不断提取更高级、更具代表性的特征。

注意力主干与分支（Attention backbone和Attention branches）

• 注意力主干（Attention backbone）：处理经过特征提取后的图像特征，进一步整合和提炼特征信息。
• 注意力分支（Attention branches）：分为pCR（病理完全缓解）和No pCR（非病理完全缓解）两个分支，利用注意力机制，分别关注与这两种情况相关的图像特征，最终输出WSI signature（WSI特征） ，用于判断乳腺癌患者对新辅助化疗的反应情况。

---

2-3：下游任务及模型评估

生物学基础探索（Biological basis exploration）

通过分析基因相关信息（如DNA 相关图示），结合生存曲线等分析手段，探究模型预测结果背后的生物学机制，比如哪些基因通路或生物过程与乳腺癌新辅助化疗的病理完全缓解（pCR)相关，从分子层面解释模型预测的合理性。

模型评估（Model evaluation）

• 肿瘤分割（Tumor segmentation）：展示模型对肿瘤区域的分割结果，通过对比原始MRI图像和分割后的图像，评估模型分割肿瘤的准确性。
• Grad - CAM（梯度加权类激活映射）：将原始图像与Grad - CAM生成的可视化热力图对比，显示模型在图像上关注的区域，帮助理解模型决策依据。
• 注意力可视化（Attention visualization）：呈现基于全切片图像（WSI）模型中，模型对不同区域的注意力分布情况，颜色编码代表不同的注意力程度。
• 高关注区域细胞分割与分类（Cell segmentation and classification of high attention tiles）：对模型高关注区域的细胞进行分割和分类，分析细胞类型等特征，辅助评估模型性能。
• ROC（受试者工作特征曲线）：绘制不同模型（MRI模型、WSI模型等）的ROC曲线，通过曲线下面积（AUC）数值比较各模型的预测性能，AUC越接近1表示模型性能越好。
• 亚组分析（Subgroup analysis）：针对不同分子亚型（如Luminal - A、HER2 - overexpression等 ）的乳腺癌进行分析，评估模型在不同亚组中的预测能力。

潜在临床影响（Potential clinical impact）

展示多模态集成全自动管道系统（MIFAPS）在临床决策中的应用。

首先通过临床评估判断患者是否适合新辅助治疗，若适合，再用MIFAPS预测患者获得pCR的可能性。

若预测可能获得pCR，采用标准新辅助治疗；若不太可能获得pCR，则考虑纳入新辅助临床试验，为乳腺癌患者个性化治疗方案的制定提供指导 。

---

三、材料与方法

3-1：研究设计

本研究旨在开发并验证一种多模态集成全自动管道系统（MIFAPS），用于局部晚期乳腺癌患者新辅助化疗（NAC）前对病理完全缓解（pCR）的预测。

2018年3月至2023年1月期间，共纳入1004例患者。MIFAPS通过逻辑回归，整合基于磁共振成像（MRI）的深度学习特征、基于全切片图像（WSI）的深度学习特征和临床特征。

作者对模型认定的重要区域进行可视化，并进一步探究深度学习预测的生物学基础。

本研究包括对MIFAPS开发的回顾性分析、内部/合并外部测试，以及对模型泛化性和临床实用性的前瞻性评估。

---

回顾性研究

纳入标准如下：

• （i）经活检证实为局部晚期乳腺癌的患者；
• （ii）接受NAC后进行手术的患者；
• （iii）有经验的病理学家在术后确认pCR或非pCR；
• （iv）活检的MRI和WSI图像均可用，且这两项检查均在NAC前2周内进行；
• （v）NAC和手术期间未出现其他肿瘤。

排除标准如下：

• （i）有放化疗、手术或恶性肿瘤病史；
• （ii）接受非标准治疗或未完成NAC方案；
• （iii）未进行手术或术后病理结果不完整；
• （iv）缺乏用于分析的临床信息、MRI图像和WSI图像；
• （v）MRI图像或WSI图像质量不佳；
• （vi）患有多灶性、双侧或隐匿性乳腺癌的患者。

---

前瞻性研究

患者从烟台毓璜顶医院前瞻性纳入。

纳入标准如下：

• （i）经活检组织学证实为局部晚期乳腺癌的患者；
• （ii）入组时血液学、肝脏和肾脏功能正常；
• （iii）计划接受标准NAC治疗后进行手术的患者，已接受或已完成标准NAC治疗等待手术的患者也符合条件；
• （iv）需确认NAC病理反应（pCR或非pCR）；
• （v）活检的MRI和WSI图像均可用，且MRI和活检均在NAC前2周内进行；
• （vi）NAC和手术期间未出现其他肿瘤。

排除标准如下：

• （i）有放化疗、手术或恶性肿瘤病史；
• （ii）接受非标准治疗或未完成NAC方案；
• （iii）未进行手术或术后病理结果不完整；
• （iv）缺乏用于分析的临床信息、MRI图像和WSI图像；
• （v）MRI图像或WSI图像质量不佳；
• （vi）患有多灶性、双侧或隐匿性乳腺癌的患者。

---

3-2：新辅助化疗及病理治疗反应评估

根据先前文献[32]描述的流程以及美国国家综合癌症网络和中国临床肿瘤学会关于乳腺癌的指南，所有患者在手术前接受6或8个周期的新辅助化疗（NAC）治疗[33]。

NAC方案基于紫杉烷类，或紫杉烷类与蒽环类联合。所有HER2阳性患者还接受曲妥珠单抗、帕妥珠单抗或二者联用。在完成NAC治疗2 - 3周后进行手术。

NAC的病理反应采用Miller - Payne分级系统进行评估，将切除肿瘤标本的病理变化与化疗前组织对比：

• 1级：无变化或个别恶性细胞有改变，但总体细胞构成未受影响；
• 2级：肿瘤细胞轻度减少，但总体细胞构成仍高，肿瘤细胞减少不超过30%；
• 3级：肿瘤细胞估计减少30% - 90%；
• 4级：肿瘤细胞显著消失，仅存小簇或广泛分散的单个细胞，肿瘤细胞减少超过90% ；
• 5级：肿瘤部位切片中无可识别的恶性细胞，仅残留血管纤维弹性间质，常含巨噬细胞，但可能存在导管原位癌。

各参与医院按照标准报告方案对手术切除标本的苏木精 - 伊红（H&E）染色切片进行残余肿瘤评估。病理完全缓解（pCR）定义为NAC后手术切除标本及所有采样区域淋巴结中无残留浸润性癌和原位癌。

由分别具有10年和15年经验的两名病理学家对患者进行评估，通过达成共识解决分歧。若两名病理学家意见不一致，由具有25年经验的第三名专家病理学家做出最终决定。

---

3-3：MRI及H&E染色活检全切片图像采集

MRI数据由不同中心的1.5T或3.0T扫描仪采集，采集参数的更多信息见表S1。

活检的福尔马林固定石蜡包埋组织被处理成0.4μm厚的H&E染色切片，并通过扫描仪（包括匈牙利3D HISTECH Pannoramic 250 Flash、德国Leica Aperio AT2和日本Hamamatsu Nanozoomer 2.0 - HT）以40倍放大（0.5μm/像素）数字化为全切片图像（WSI）。

病理学家确认所有切片均含肿瘤且图像质量适合分析。

---

3-4：临床特征

临床和组织病理信息从医院信息系统获取，包括年龄、肿瘤大小、雌激素受体（ER）、孕激素受体（PR）、HER2、增殖标记物Ki - 67和分子亚型，具体流程先前已有文献[32]描述。

免疫组化（IHC）染色用于显示肿瘤细胞核染色情况：

• ER/PR阴性定义为阳性肿瘤细胞＜1%，ER/PR阳性定义为阳性肿瘤细胞≥1% [34]。
• Ki - 67临界值设定为20%。
• HER2状态的IHC结果判读如下：+3定义为阳性，0 - +1定义为阴性，+2需对活检组织进行荧光原位杂交（FISH）验证。
• FISH结果无扩增视为HER2 - ，FISH结果扩增定义为HER2 + [35]。

利用IHC替代标记物将肿瘤分为不同分子亚型：

• 管腔A型定义为ER阳性、PR（20%）阳性、HER2阴性且Ki - 67＜20%；
• 管腔B型定义为ER阳性和/或PR（＜20%）阳性、HER2阴性，或ER/PR/HER2阳性，或ER和PR阳性但Ki - 67＞20%；
• HER2过表达型定义为ER/PR阴性且HER2阳性；
• 三阴性型定义为ER、PR和HER2均为阴性。

---

3-5：MRI病灶标注与图像预处理

具有8年乳腺影像诊断经验的放射科医生对T2WI、DWI和CE - T1WI序列上的病灶进行分割，另一位有16年经验的放射科医生负责审核。

他们使用ITK - SNAP（3.6版本；网址：www.itksnap.org）进行病灶分割，对于CE - T1WI序列，选取峰值增强期图像进行分割，感兴趣区域分割示例见图S4。

图像序列

图中涉及三种MRI图像序列，分别是T2WI（T2加权成像） 、DWI（扩散加权成像） 和CE - T1WI（对比增强T1加权成像） 。

这些不同序列的图像能从不同角度反映乳腺组织及肿瘤的特征，比如T2WI对软组织对比显示较好，DWI可反映水分子扩散情况，CE - T1WI能突出显示强化的肿瘤组织 。

分割步骤

• 原始图像（A）：展示了T2WI、DWI和CE - T1WI三种序列的原始MRI图像，可看到乳腺区域的影像，其中存在高亮显示的肿瘤区域，但肿瘤边界在原始图像中并不清晰。
• 肿瘤轮廓描绘（B）：在这一步，通过专业手段描绘出肿瘤的轮廓，在图像中用红色标识出肿瘤所在位置，使得肿瘤区域从背景中凸显出来，相较于原始图像，肿瘤边界变得明确。
• 生成感兴趣区域（C）：基于描绘的肿瘤轮廓，进一步生成感兴趣区域（ROI），以三维视角展示了肿瘤区域（红色部分） ，排除了大部分无关的乳腺组织区域，方便后续针对肿瘤区域进行深度学习模型的分析和处理，如特征提取等操作。

---

在将包含病灶的图像层输入U型分割网络之前，先将其调整为256×256像素的图像大小。

由于获取的图像为单通道，因此在输入模型前，将单通道图像叠加到三通道RGB图像上。随后，将三个通道的图像像素归一化到0 - 1的范围。

此外，还进行了水平翻转、旋转、缩放以及水平和垂直平移等操作。

---

3-6：基于MRI的深度学习特征开发

图2A展示了深度学习网络架构，其包含自动分割和分类两个子任务，手动分割作为金标准。

所提出的U型分割网络由编码器、解码器、边缘特征提取模块和注意力模块组成，自动图像分割网络的详细信息见补充方法（第2页）。

使用Dice系数评估分割模型的性能，在三个测试集中该系数得分在0.821 - 0.840之间（图S5）。

分类网络训练采用DenseNet121、ResNeXt101和ResNet101作为骨干网络，三个网络分支在同一数据集上分别训练，每个MRI序列的最终得分通过平均投票确定。

利用逻辑回归模型整合三个序列的得分，从而获得pCR预测概率。同时，还使用了k近邻、决策树和支持向量机等常见机器学习分类器对预测性能进行比较，通过五折交叉验证在训练集和验证集上评估模型。

基于MRI的深度学习特征开发网络的详细信息见补充方法（第2页）。

所提出的MRI模型基于Python的PyTorch（1.6.0版本；网址：https://pytorch.org/）框架实现，使用4个NVIDIA TI - TAN X GPU进行训练。在分割模型的训练过程中，采用Adam优化器，初始学习率为0.00001，批量大小为8，训练200轮后模型损失最小，根据Otsu阈值分割方法确定分割阈值。在分类网络训练时，三个模型的初始学习率设置为0.0001，相应的处理批量大小为8，使用交叉熵损失函数，经过600个阶段训练达到最小损失。

---

3-7：WSI平铺与特征提取

使用Python中的OpenSlide包（Python版本3.6.6）以40倍放大率将WSI读入内存，并将其从RGB颜色空间转换为色调饱和度值（HSV）颜色空间。

通过中值滤波、阈值处理和形态学闭运算获得组织区域的二值掩模，然后对检测到的组织的近似轮廓进行过滤，进而得到分割的组织区域。

分割后，从组织区域裁剪出256×256像素的图块。使用预训练的ResNet50为每个图块提取特征表示，在第三个残差块后应用自适应平均池化层，将每个图块表示为1024维的特征向量。

---

3-8：基于CLAM提取WSI的深度特征

模型训练与基本流程

使用带有全局数据标签的WSI训练算法，基于CLAM库训练WSI模型 。

通过注意力模块将图块特征表示用于多实例学习，模块分配的注意力分数能突出与新辅助化疗（NAC）反应相关区域，其输出输入最终分类层，得到基于WSI的深度学习分数。

---

注意力主干网络

先用全连接（FC）层将1024维特征向量压缩为512维，接着构建含sigmoid门控的注意力网络（由三个堆叠FC层组成），再拆分为两个并行注意力分支（即两个独立分类器），为每个玻片层级分类获取预测分数。

注意力网络依图块对玻片层级预测的相对重要性，为WSI中每个图块分配注意力分数。之后排序，将每个WSI中注意力分数最低的8个图块设为负类簇，最高的8个设为正类簇 。

训练时，用关注度高低不同的图块作样本监督实例级聚类，目标是学习区分不同类别正负实例的图块级特征图，实例级聚类任务选用平滑top - 1支持向量机损失（$L_{tile}$ ） 。

---

注意力池化

按每个图块各自的注意力分数（A）聚合所有图块，将图块级特征（F）表示为玻片级特征（$f_{slide}$ ） ，计算公式为 $f_{slide}=Attnpool(A,F)={\sum }_{m=1}^M{a}_m{h}_m$ 。

---

最终预测与损失计算

得到的512维特征向量输入FC层进行最终玻片层级预测，采用交叉熵损失（$L_{slide}$ ） 。

总损失（$L_{total}$ ）计算公式为 $L_{total}=s{L}_{slide}+t{L}_{tile}$ ，实验中s = 0.7，t = 0.3 。

---

模型训练参数

模型在PyTorch平台训练，用Adam优化器更新参数，权重衰减为$1\times 10^{-5}$ ，初始学习率为$1\times 10^{-4}$ ，批量大小为1 。

在注意力主干网络每层后加0.25的随机失活抑制过拟合，训练100轮，选损失最低的最佳模型计算测试集性能。

---

临床特征开发

在训练集和验证集中，运用单变量和多变量逻辑回归来选择临床风险因素，这些因素包括年龄、肿瘤大小、雌激素受体（ER）、孕激素受体（PR）、人表皮生长因子受体2（HER2）、增殖标记物Ki - 67以及分子亚型。

选择P < 0.05的因素，通过逻辑回归进一步构建临床特征。逻辑回归采用向后逐步筛选法，当达到最小赤池信息准则时，逐步筛选过程停止。

使用多变量逻辑回归开发临床特征，将选定的独立风险因素纳入其中，以预测对NAC达到病理完全缓解（pCR）的概率。

---

3-9：MIFAPS开发

在训练集和验证集中，采用名为逻辑回归的集成算法，整合临床特征、基于预处理MRI的深度学习特征以及基于WSI的深度学习特征，构建名为MIFAPS的集成模型（图2）。

MIFAPS的输出是预测患者对NAC达到pCR或非pCR的概率。

研究还比较了几种常见机器学习分类器（如k近邻、决策树和支持向量机）的预测性能，以及多模态分数的简单平均值。

---

3-10：模型可视化

利用梯度加权类激活映射（Grad - CAM）对基于MRI的模型进行网络可视化，以解释模型并生成突出关键区域的定位图，在pCR分类中，最终卷积层保持透明。

对于基于WSI的模型，其可视化解释是通过将预测类别注意力分数转换为百分位数，映射到具有0.5透明度值和95%图块重叠的空间位置，构建注意力热图，从而定位与pCR诊断相关的区域。

HoverNet模型[37]进一步辅助WSI的解释，它对高关注度图块中的细胞类型进行分割和分类，以量化肿瘤微环境，这些细胞类型包括肿瘤细胞、淋巴细胞、结缔组织细胞、坏死细胞或上皮细胞。

针对每种细胞类型，计算高关注度图块中的出现频率，以分析预测pCR分数低/高的患者中的细胞比例。

---

3-11：模型验证

在内部测试集、合并外部测试集和前瞻性测试集中对MIFAPS的预测性能进行测试。

为了对比，还测试了单模态模型，包括临床模型、基于预处理MRI的深度学习模型和基于WSI的深度学习模型，以及双模态模型，如MRI + WSI、MRI + 临床和WSI + 临床模型。

---

3-12：亚组分析

不同的分子亚型会导致不同的临床治疗方案和对NAC的反应。因此，对管腔A + B型、HER2过表达型和三阴性型进行亚组分析。

此外，还比较了不同化疗方案下模型的性能，详细内容见补充方法（第3页）。

进一步探索了病灶直径≤2 cm和>2 cm的不同亚组情况。

---

3-13：生物学基础探索

使用R包DESeq2，根据倍数变化≥2且调整后P值<0.05的标准，识别两组之间的差异表达基因（DEGs）。

随后，利用GO数据库（R中的“clusterProfiler”包）进行基因集富集分析（GSEA），比较乳腺癌高分数和低分数患者之间的富集通路。

通过CibersortX（https://cibersortx.stanford.edu）进行免疫微环境分析，估计混合细胞群体中各成员细胞类型的丰度。然后，使用Wilcoxon检验比较高分数组和低分数组之间的差异。

---

3-14：统计分析

使用R（3.6.2版本；网址：www.r - project.org）进行统计分析。采用卡方检验/费舍尔精确检验比较分类变量（ER、PR、HER2、Ki - 67和分子亚型），使用两样本t检验分析连续变量（年龄和肿瘤大小）。

报告受试者工作特征曲线和95%置信区间（CIs），并进行1000次自助抽样。Youden指数指导临界值的选择，同时报告精确召回率曲线（PR曲线）和PR曲线下面积（AUPRC）。

计算敏感性、特异性、准确性、阳性预测值和阴性预测值以评估模型性能。使用DeLong检验比较曲线下面积（AUCs），P < 0.05表示具有统计学意义。

---

结束语

本期推文的内容就到这里啦，如果需要获取医学AI领域的最新发展动态，请关注小罗的推送！如需进一步深入研究，获取相关资料，欢迎加入我的知识星球！