小罗碎碎念
这篇文章是关于使用多模态深度学习从肝内胆管癌（iCCA）的病理图像中挖掘可解释的预后特征的研究。
今天要详细分析的这篇文章，与我之前介绍过的这篇临床文章是同一批作者，他们能把临床的研究延续到医工交叉的研究上来，值得点赞。（建议搭配两篇文章一起看）
可以再稍微深度分析一下两篇文章的发表时间——相隔两年多，这也是为什么大部分课题组没能将临床研究成果转化的原因之一，毕竟耗时太长，短时间看不到成果。
再看一点大家比较关注的期刊水平，两篇文章都属于一区的文脏，但是IF相差还是比较大的。为什么会出现这种情况？大家看完今天的推文应该也就清楚了。
文献速览
这篇文章通过构建一个深度学习模型，从肝内胆管癌的病理图像中提取出与临床结果相关的可解释预后特征，并揭示了这些特征背后的分子机制。
| 作者类型 | 姓名 | 单位名称（中文） |
|---|---|---|
| 第一作者 | Guang-Yu Ding | 复旦大学中山医院肝脏外科和移植中心，复旦大学肝癌研究所，教育部肿瘤发生和侵袭重点实验室 |
| 通讯作者 | Mu-Yan Cai | 中山大学附属肿瘤医院华南肿瘤学国家重点实验室，癌症医学协同创新中心 |
| 通讯作者 | Bo Yan | 复旦大学中山医院肝脏外科和移植中心，复旦大学肝癌研究所，教育部肿瘤发生和侵袭重点实验室 |
| 通讯作者 | Qiang Gao | 复旦大学中山医院肝脏外科和移植中心，复旦大学肝癌研究所，教育部肿瘤发生和侵袭重点实验室，复旦大学遗传工程国家重点实验室 |
研究团队建立了一个综合预后神经网络，用于全面评估全切片图像中的结构和细粒度信息。通过多模态数据，他们对模型进行了广泛的询问，以提取和可视化与临床结果和潜在分子变化最相关的形态学特征。
研究结果表明，所开发的模型在内部（n=213）和外部（n=168）队列上都表现出一致的准确性和鲁棒性。通过遮挡敏感性图揭示了影响预后的关键结构特征，包括三级淋巴结构的分布、侵袭边缘的几何特征、肿瘤实质和基质的相对组成、坏死程度、播散灶的存在以及肿瘤邻近微血管。
通过CellProfiler提取的可量化形态学向量表明，高风险患者的肿瘤核表现出显著更大的大小、更扭曲的形状，核膜和纹理对比度较不明显。多组学数据进一步揭示了关键分子变化留下的形态学印记，这些变化可以被网络识别，包括糖酵解、缺氧、顶端连接、mTORC1信号和免疫浸润。
研究结论是，他们提出了一个可解释的深度学习框架，以洞察iCCA的生物学行为。网络感知的大多数重要形态学预后指标对人类思维是可理解的。该研究还强调了深度学习模型在临床应用中的可解释性的重要性，并展示了如何通过结合模型解释和事后解释策略来提高模型的透明度和可信度。
一、背景
深度学习在基于全切片图像（WSIs）的癌症预后及治疗效果预测方面带来了深刻的见解[1-3]。
在应用于多种恶性肿瘤时，深度学习基础的预后模型表现优于几乎所有传统方法，显示了其在个性化临床护理中的巨大潜力[4-6]。这些开创性研究还表明，深度学习方法能够提取对预后至关重要的病理特征，这些特征是形态学决定因素。然而，尽管前景令人鼓舞，但在实际应用之前，仍需解决几个主要障碍。
当前深度学习方法的局限性包括“捷径学习”的倾向、泛化能力不足以及解释性有限[7]，这些问题均源于神经网络的“黑箱”特性。有效的网络通常由通过许多非线性交织关系连接的极其复杂的层组成，因此很难理解从输入到输出的转换。
因此，“理解模型”是一个关键问题，目的是：
（i）排除数据伪影和非普遍特征，避免捷径学习；
（ii）对深度学习模型输出的结果获得必要的信心；
（iii）挖掘被忽视的关键特征和肿瘤的新生物行为[1]。
原则上，模型解释主要有两种策略：基于模型的解释和事后解释[8]。
基于模型的解释指的是具有预定限制的模型，这些模型大多依赖于特定疾病的先验知识；而事后解释是指分析已训练的模型，以深入了解学习到的关系。这两种策略的结合应相互补充，可能有助于解开黑箱之谜。基于此，作者选择了肝内胆管癌（iCCA）来建立实用的深度学习预后模型及其深入解释。
iCCA是一种具有复杂组织成分、患者预后各异且具有独特分子背景的纤维瘤性癌症，使其成为深度学习建模的理想选择[9-11]。iCCA病理切片中隐藏的形态学信息反映了微环境对肿瘤细胞行为整体的影响。在此，作者使用了来自两个癌症中心的4个独立iCCA队列的病理图像，开发并验证了这一恶性的逐步预后模型，该模型具有卓越的准确性、泛化能力和鲁棒性。
接下来，作者通过多种方法对建立的模型进行了深入探查，生成了前所未有的分辨率和详细程度的人类可解释特征库。最后，作者利用研究队列的多组学数据，探索了形态变化中分子改变的足迹。
二、方法
2-1：研究人群与病理切片
本研究纳入了四个独立的iCCA队列（队列T、V1、V2和FU-iCCA），共计941名患者[12, 13]。
队列T和V1总共包含了586名在2004年至2015年间于复旦大学附属中山医院接受手术切除的iCCA患者。队列T（作为训练队列）包括373名iCCA患者，其余213名患者被纳入队列V1作为内部验证。队列V2（作为外部验证队列）包括168名在1999年至2013年间于中山大学肿瘤中心接受手术切除的iCCA患者。FU-iCCA队列是作者之前建立的，包含多组学数据，其中包括2014年至2018年间于中山医院切除的187名患者。所
有患者均经病理证实为iCCA并接受了治愈性切除。排除了肝门或肝外胆管癌以及混合型原发性肝癌患者。患者在手术前或随访期间未接受任何分子靶向或免疫治疗。研究方案遵循伦理指南（赫尔辛基宣言和伊斯坦布尔宣言）并获得中山医院伦理委员会批准。所有受试者在参与研究前均签署了书面知情同意书，同意使用手术标本及相关临床数据。
每位患者的病理H&E切片均被扫描为WSIs。共收集了来自四个队列的1782张WSIs。经过初步筛选，因质量较差（包括污染、脱色和重叠）排除了321张，剩余的分别为队列T的373名患者的673张WSIs，队列V1的213名患者的433张WSIs，队列V2的168名患者的168张WSIs，以及FU-iCCA队列的187名患者的187张WSIs（队列T和V1中某些病例有多张WSIs）。
详细信息见表1和附加文件1：补充方法，本研究中使用神经网络的总体框架和研究对象见图S1（附加文件2）。
2-2：分类网络与全局分割图
原始图像数据经过预处理以去除无意义背景（Otsu方法）[6]。
为了分类和分割不同的解剖亚区域，从队列T中随机选择了74名患者的89张WSIs进行手动标注。
首先，由资深病理学家使用QuPath直接勾勒出主要解剖亚区域，如肿瘤组织（TT）、肿瘤周围肝组织（LT）、出血和坏死区域（HN）以及三级淋巴结构（TLSs）。随后，将这些图像分割成不重叠的小块（256×256像素），称为标记瓦片。
由于肿瘤实质与间质之间界限难以直接划定，作者改用肿瘤组织来源的瓦片，将其二分为实质（TT-p）和间质（TT-s）。这些标记瓦片为分类网络建立了真实标签。分类网络的详细框架可在附加文件1：补充方法中找到。
然后，可以为每张WSI生成由类别激活的全局分割图（GSM）。
2-3：预后模型
作者根据不同维度的输入建立了并比较了几个预后模型。
对于预后模型1，作者以每位患者为样本，生存时间为标签，GSM为输入。训练后，该模型可以为每位患者生成风险评分，作为评估预后的相对值。对于预后模型2，作者同样以每位患者为例，但输入改为WSIs内采样的瓦片。预后模型2的瓦片大小为256×256像素。
采样策略包括随机采样和基于类别的采样，并测试了不同瓦片数量和放大尺度对网络性能的影响。最终模型中确定了最优且最有效的采样策略（在肿瘤实质区域以4×放大尺度采样32块瓦片），并为每位患者生成了风险评分。
对于综合预后模型，作者同时使用GSM和采样瓦片作为网络的输入，为每位患者生成共识风险评分。在队列T和V1中，某些病例有多张WSIs，观察到了风险评分的切片间差异。对于多张WSIs，比较了最小、最大和平均风险评分的预测准确性，并以内部分析标准差的形式评估了同一病例内风险评分的变化。
预后网络的详细信息可在附加文件1：补充方法中找到。
2-4：识别与预后相关的结构特征
为了揭示预后模型的“黑箱”，作者首先应用遮挡敏感性图（OSM）[15]来可视化GSM中与预后相关的特征。通过计算使用GSM遮挡后风险评分的结果差异，作者生成了粗糙的敏感性热力图，不同的颜色表示死亡高风险和低风险。
详细的方法论在附加文件1：补充方法中提供。
其次，作者通过提取预定义的建筑参数来解构GSM。这些结构参数包括HN/TLS/TT-p/TT-s与TT/LT的面积比、TLS和HN的分布方差、侵袭边缘的平滑度以及TLS与侵袭边缘之间的距离。在实施过程中，面积比基于像素数量，侵袭边缘的平滑度通过Sobel算子计算，距离定义为TLS簇中心与侵袭边缘之间的最小距离。
2-5：提取与预后相关的瓦片级别特征
为了解释网络感知到的与预后相关的瓦片级别特征，作者应用CellProfiler自动从高风险和低风险瓦片中提取量化的图像向量。图像处理和向量提取的工作流程已在前文中描述[16]，作者调整了流程参数以更好地应用于病理切片的场景。
简而言之，在排除低质量图像并对不均匀照明进行校正后，使用CellProfiler 2.1.0版本对每个瓦片中的肿瘤细胞核进行识别和分割。然后，测量每个核的核面积形状、强度、纹理和径向分布。总共提取并规范化了732个测量的特征向量，以描述瓦片中肿瘤细胞核的总体形态。
每个特征向量包含核大小的平均值、中位数和标准差，轮廓线长度、方向、椭圆度、纹理熵、中心矩等信息。使用截断的SVD[17]进行降维。
详细的方法论和使用CellProfiler处理图像的流程在附加文件1：补充方法中提供。
2-6：全外显子组测序（WES）、RNA测序和蛋白质组分析
WES、RNA测序和蛋白质组数据从Dong等人[13]处下载。免疫亚群的估计是使用Danaher等人基于RNA-Seq数据描述的方法进行的[18]。
为了计算MSigDB（http://www.gsea-msigdb.org/gsea/msigdb）中50个标志物的得分，作者使用R包中的GVSA，参数设置为：method=“ssgsea”, kcdf=“Gaussian”, min.sz=1, max.sz=500。
2-7：统计分析
统计分析使用SPSS（版本20.0）和R软件进行。
当超过20%的单元格的期望频率小于5时，使用Fisher精确检验比较分类变量；否则，使用卡方检验。连续变量使用Mann-Whitney U检验进行比较。预后模型的性能通过Harrell的一致性指数（C指数）评估，并在R中的Hmisc包的rcorrp.cens包中进行比较。
生存分析使用Kaplan-Meier进行，并使用对数秩检验比较风险评分以估计生存概率。进行多变量Cox回归分析以确定与总生存期相关的独立变量。使用套索回归模型来确定与瓦片风险评分相关的图像向量。双尾P<0.05被认为具有统计学意义。
三、结果
3-1：分类网络精确区分解剖亚区域
通常情况下，iCCA的病理切片包含4个主要的解剖亚区域，即TT、LT、HN和TLSs，这些区域可以相对容易地手动勾勒出来。
两名经验丰富的专家在89张WSIs上勾勒出这四种组织的轮廓，并由另一名病理学家独立检查（图1A）。这些WSIs按照方法中提到的方式被分割成瓦片（图1B）。
总共采样了1,059,923个注释瓦片用于训练分类网络。对于标记为TT的32,762个瓦片，作者进一步将它们标注为实质（TT-p）和间质（TT-s）以进行亚分类，考虑到iCCA是一种高度纤维化的癌症。在完全训练后，剩余的6552个标记瓦片被用来测试分类网络的性能，使用混淆矩阵和曲线下面积（AUC）进行评估，所有结果均显示出优秀的准确性和区分能力（图1C, D）。
接下来，作者将分类网络应用于T、V1和V2队列中的其他WSIs，典型的GSM如图1E所示。为了进一步验证输出结果的真实性，作者每个队列随机选择了2000个瓦片（每个区域400个瓦片，总共6000个瓦片），分类结果由两名经验丰富的病理学家检查。
分类结果的识别准确率在T队列为0.986，V1队列为0.983，V2队列为0.983。如图附加文件3：图S2所示，颜色和轮廓的相似性是误分类的主要原因。
总体而言，作者的分类网络在内部和外部区分主要亚区域方面表现良好。
3-2：从病理图像的独立维度初步提取特征
基于先验知识，结构特征（指示不同解剖亚区域的空间组织）和细粒度特征（指示肿瘤细胞的形态和纹理）都包含了与患者预后相关的关键信息[19]。为了验证这一知识并为最终模型提供更好的可解释性，作者首先建立了两个初步的预后模型。
对于预后模型1，全局分割图作为网络的输入。
模型1的输出，作者称之为“GSM评分（GS）”，是一个相对值，用于评估每个WSI的预后风险。对于具有多个WSIs的患者，所有切片的平均GS被采纳作为该患者的代表性风险评分，基于预测性能（图2A）。
总体而言，通过GS的C指数在T队列为0.672，并在V1和V2队列中验证，无需对网络进行任何调整（V1和V2队列分别为0.654和0.612）。
对于预后模型2，输入是采样的瓦片，输出被称为“瓦片风险评分（TiRS）”。
为了使网络性能饱和，作者迭代优化了采样方法、瓦片数量和放大尺度。作者首先比较了全局随机采样方法（不考虑组织类别）、仅肿瘤组织采样方法（不考虑实质或间质）和仅肿瘤实质采样方法的表现，每个WSI输入32个瓦片。
如图2B所示，仅肿瘤实质采样方法的表现显著优于其他两种采样方法（P<0.05）。这一结果支持了先验知识，即预后相关的细粒度特征主要来自肿瘤细胞[6]。
因此，作者在后续建模中采用了仅肿瘤实质采样方法。接下来，作者测试了不同放大尺度和瓦片数量对网络性能的影响。
考虑到iCCA的肿瘤内异质性，只有足够的瓦片数量，网络才能理解一个肿瘤的整体景观。随着瓦片数量的增加，C指数逐渐增加直至出现平台。尽管增加放大尺度可以使网络捕捉到更详细的特征，但所需的计算能力也呈指数级增加。
为了在最小的计算能力成本下实现最大的预后预测，作者确定了在4×放大尺度下32个瓦片的数量为最佳组合（图2C）。
与GS类似，对于T和V1队列中具有多个WSIs的患者，平均TiRS是更好的预后指标（附加文件4：图S3）。确定了参数后，预后模型2在T队列中获得了0.715的C指数，并在V1和V2队列中验证，无需对网络进行任何重新训练（V1和V2队列分别为0.674和0.641）。
值得注意的是，GS和TiRS作为iCCA的预后指标是相互独立的（T、V1和V2队列中所有P<0.01），并且来自同一患者多个切片的GS和TiRS的变化也显著影响预后（图2A和附加文件4：图S3A），显示了iCCA肿瘤内异质性的影响。
3-3：综合预后模型稳健预测患者结局
作者已证明，GSM和采样瓦片对于iCCA的预后都是不可或缺的输入。
在综合模型中，来自这两个维度的特征被协同输入到网络中，输出被称为“共识风险评分（CRS）”。经过优化，CRS在训练队列T中的C指数达到了0.745，显著优于单独的GS或TiRS（图2D，所有P<0.05）。
CRS的一个主要优势是其普遍性，这一点通过内部和外部验证队列得到了证明。无需任何修改或重新训练，该模型直接应用于其余队列，并在V1和V2队列中保持了0.701和0.677的C指数。如预期的那样，CRS是一个比基于Cox模型结合传统临床病理特征的临床指数更优越的预后预测因子（图2D）。
作者进一步使用CRS进行了生存分析，通过将患者等比分层为高风险和低风险组。生存曲线显示，CRS高的患者生存状况显著差于CRS低的患者（图2E）。
多变量分析揭示，CRS的预后能力独立于传统的临床病理特征（附加文件5：表S1），并且在大多数临床病理亚组中，如早期或晚期TNM分期、肿瘤大小小或大、单发或多发肿瘤中，CRS仍然是一个生存的预测因子（附加文件4：图S3B）。
3-4：预后模型1的解构揭示了重要的结构特征
GS和TiRS的直接组合（使用危险线性组合）显示出略逊于但与CRS相当的可预测性能（队列T为0.733对0.745，V1为0.695对0.701，V2为0.665对0.677，附加文件4：图S3C），因此，通过分别探究初步模型，合理化了最终模型的逐步解释。
为了探究预后模型1的解释，作者首先使用OSM来可视化不同图像区域对预后的相关性。为了可视化，GSM被不同颜色遮罩，其中红色和蓝色分别表示死亡高风险和低风险。作者团队的病理学家从这些热力图中识别出几个独特的特征（图3A）。
如图3A所示，肿瘤内的TLS以深蓝色突出显示，表明其对肿瘤的保护作用。然而，肿瘤周围的TLS以红色遮罩，暗示了TLS在肿瘤内和周围具有相反的预后影响[12]。
侵袭边缘的预后意义由其平滑性或不规则性决定，凸出和凹陷表明肿瘤芽生的存在，提示高风险（附加文件6：图S4）[20]。
有趣的是，与众所周知的积极促瘤作用的肿瘤间质相比，肿瘤实质与相对较低的 risk 相关，而作者的网络经常将其识别为高风险区域。其他与风险相关的特征，包括坏死、散在灶和肿瘤附近的微血管，都一致以红色显示，这对于人眼来说是可理解的[22, 23]。
为了量化上述发现，作者计算了几个预定义的结构参数，包括不同亚区域的面积比、TLS和HN的分布方差、侵袭边缘的平滑性以及TLS与侵袭边缘之间的距离。
总体上，这些参数与观察性发现的趋势一致，肿瘤周围TLS与LT的面积比、HN和TT-s与TT的面积比、HN的分布方差以及侵袭边缘的不平滑度显示出与不良结局的潜在正相关，而肿瘤内TLS和TT-p与TT的面积比、肿瘤内TLS的分布方差与良好结局的正相关（图3B）。
然而，这些参数并未完全代表不同肿瘤区域的地理复杂性和拓扑模式，因此无法满足网络的预测能力（附加文件7：图S5）。
综上所述，这些发现证明了预后模型1通过GSM深入感知了关键的预后指标。
3-5：预后模型2捕获实质瓦片的内在形态学特征
预后模型2关注微观特征，由其输入决定。
作者首先测试了模型是否识别了病理学家可解释的预后指标，如iCCA亚型或肿瘤分级。根据世界卫生组织和欧洲胆管癌研究网络，iCCA可分为肝门部大导管亚型和周围小导管亚型，两者在粘液产生、肿瘤细胞形状和患者预后方面存在显著差异[24]。
与预后较差的大导管亚型相比，小导管亚型的iCCA瓦片具有显著较低的TiRS，这与它们的有利预后相互印证（图4A）。不同分化等级与TiRS之间也观察到了相同的关联（图4B）。
这些结果反映了预后模型2捕获了定义传统病理特征的形态学特征。
其次，作者专注于肿瘤细胞核，并使用CellProfiler[16]提取了可量化的形态学向量，以帮助理解“黑箱”。为了筛选出网络可能关注的特征，作者从高TiRS（前20%）和低TiRS（后20%）的患者中随机选择了瓦片。总共处理了2128个瓦片，通过CellProfiler自动分割肿瘤细胞核（图4C）。
每块瓦片的原始剖面包含所有732个测量值，维度降低后出现的显著特征在图4D中示意性地展示。核的面积形状、强度和纹理提供了与TiRS和预后显著相关的最有信息量的特征。
套索回归揭示，最相关的测量值包括核大小的平均值、核形状的第三阶中心矩、核边缘的积分强度和核纹理的对比度（图4E）。
在实际应用中，高TiRS瓦片中的肿瘤核表现出显著更大的尺寸、更扭曲的形状，而其核包膜和纹理对比度则不那么突出（图4C）。另一组反映一个瓦片中核大小和形状异质性的测量值也与高风险显著相关（图4E）。
总的来说，这些结果表明，预后模型2捕获了具有预后意义的精细特征。
3-6：预后模型反映了肿瘤生物过程在多组学尺度上的表现
逻辑上，病理切片中可观察到的形态学模式以及患者的预后是由其下层的分子表型所决定的[25, 26]。
利用来自FU-iCCA队列的多组学数据[13]，作者识别出几个与TiRS显著相关的分子改变。转录组学数据揭示的最相关通路包括糖酵解、缺氧、P53通路、雌激素反应、顶端连接、mTORC1信号传导、通过NFKB的TNFα信号传导、TGF-β信号传导和胆酸代谢（图5A，附加文件8：图S6）。
除了胆酸代谢和脂肪酸代谢外，所有其他通路都与TiRS呈正相关，这与它们在癌症生物学中的不利作用一致[27–32]。在TiRS与蛋白质组学数据之间也发现了类似的关联，这进一步确认了这些标志性分子改变与肿瘤细胞形态之间的稳健联系（图5A，附加文件8：图S6A）。
作者还基于RNA测序数据分析了TiRS与免疫细胞的相关性。在比较低风险和高风险患者的免疫微环境时，作者发现大多数T细胞亚群、B细胞和NK细胞在高TiRS患者中显著减少，而中性粒细胞则表现出相反的趋势（图5B）。这些结果符合免疫表型在癌症生物学中的复杂功能[33]，并揭示免疫状态也被该网络所关注。
通过比较具有最高或最低通路评分的样本瓦片，病理学家通过视觉识别出几个形态学线索。如图5C所示，具有最高顶端连接评分的瓦片显示出典型的极化肿瘤细胞排列，相比之下，比较瓦片中细胞排列则显得杂乱无章。
标记为糖酵解的瓦片中肿瘤细胞显示出更高的细胞扩散水平，而相对应的瓦片则呈现出堆叠外观。作者还注意到在缺氧条件下肿瘤细胞的肿胀，以及高mTORC1信号传导评分的肿瘤核的扭曲。这些可观察到的形态学变化的基础可以追溯到其下层分子改变对细胞相互作用、细胞骨架收缩性、膜透性和核物质异常生物合成的影响[27, 34–36]。
然而，大多数常见的基因组改变（如TP53、FGFR2和IDH1/2）与TiRS无关，除了KRAS突变（附加文件8：图S6B），这暗示大多数单一突变可能没有在形态学上留下足够强烈的足迹。
四、讨论
尽管近期取得了进展，但目前基于深度学习的预后模型仍然在一致性和泛化能力方面存在挑战[1]。
在传统框架下，由于训练数据集的限制和不平衡，几乎无法判断模型是否关注了组织学中的内在预后特征，还是被混淆因素所误导。
在本研究中，作者专注于iCCA深度学习模型的可解释性，以探索对病人预后贡献最大的相关特征。为了使网络更加“透明”，作者首先采用逐步建模策略，将来自组织或细胞层面的特征纳入单独的初步模型。然后，作者对最终模型进行了广泛的询问式研究，并从大量的图像信息中提取了神经网络关注的潜在预后特征。
反映关键组织成分地理组织和空间交互作用的结构特征是预后模型1的决定性参数。作者发现TLSs的分布为该模型的预后预测提供了主要线索。作者团队最近报道了位于肿瘤内或周围的TLSs的不同功能取向和细胞组成，其中肿瘤内TLSs预示着良好的预后，而其周围对应的TLSs则与不良结果相关[12]。
然而，在没有这一先验知识的情况下，神经网络能够自发地理解这一免疫特征的复杂作用。
另一个突出的特征是沿侵袭边缘的突起和凹陷，这与肿瘤芽生的存在相符合（附加文件6：图S4）。
肿瘤芽生是一种新兴的预后生物标志物，定义为在侵袭前沿突出的癌细胞簇，表明肿瘤的侵袭性和上皮-间充质转化[20]。尽管肿瘤芽生在结直肠癌中的预后价值已得到充分证实[37]，但其在大胆管癌中的应用潜力值得进一步研究。
其他可视化的预后特征，包括肿瘤实质/间质比、分散灶和肿瘤相邻微血管，对病理学家来说是可理解的[21–23]，然而，这些特征通过传统病理程序转化为量化风险评分是不可能的。
细胞层面的信息由预后模型2从采样瓦片中捕获。
作者将肿瘤实质识别为最具信息性的区域，与先前的一项研究[6]一致。尽管非肿瘤细胞在肿瘤微环境中的作用已知[21]，作者的结果和其他研究[6, 12]暗示，它们的功能状态可能通过其分布或密度而非细胞形态（如TLS）反映出来，因此无法被预后模型2所关注。
另一方面，肿瘤细胞形态包含了丰富的生物学印记，可以被病理学家和神经网络感知。高风险瓦片中的肿瘤核倾向于表现出增大的大小、更扭曲的形状和异常的纹理。核大小的重要决定因素——倍性，可能是大胆管癌瓦片高TiRS核增大的合理机制[38]，因为侵略性大胆管癌倾向于显示更高的非整倍性[39]。
同样，核形状不规则性与特定分子改变的联系，这些分子改变增加了恶性度，已在其他一些癌症中得到建立，如RET融合的甲状腺乳头状癌[40]和EGFR突变的肺腺癌[41]。核的纹理特征主要由染色质模式决定，导致染色质稳定性和基因表达状态的变化[42]。
异染色质，由于其紧密包装、转录沉默且位于核周边，可能解释了低TiRS瓦片中突出的核包膜和纹理。相比之下，高TiRS瓦片中的核表现出更分散的纹理，这在形态上和功能上与转录活跃的 euchromatin相符[42]。
作者还证明了神经网络捕获了与结局相关的重大分子改变留下的足迹。
与TiRS正相关的显著基因集反映了肿瘤细胞的增殖（mTORC1信号传导和P53通路）[27, 29]、细胞骨架和连接（顶端连接）[28]以及代谢（糖酵解和缺氧），而胆酸代谢和免疫浸润（除中性粒细胞外）与TiRS负相关。
有趣的是，先前报道的大胆管癌分子亚型与作者的研究显示了相似的模式[39]。该研究中的C1亚型富含P53突变、微管细胞骨架和增加的非整倍性，并与不良预后相关。
相比之下，C2亚型具有显著更好的生存率，与胆酸代谢和增加的白细胞浸润（除髓系细胞外）[39]相关。确实，一些分子改变在形态学上留下了可辨识的印记[43]。例如，特征为糖酵解的肿瘤细胞表现出更僵硬的形状和更高水平的细胞扩散，这与通过细胞骨架应力对糖酵解的机械调节相一致[35]。
缺氧下的肿瘤细胞肿胀可能与细胞膜渗透性变化相关[36]。肿瘤细胞中mTORC1通路的过度激活持续促进核苷酸合成和核糖体生物发生，这可能导致肿瘤核不规则性[27]。
作者针对iCCA的深度学习预后模型以前所未有的分辨率和细节进行了剖析，大多数特征对具有先验知识的病理学家来说是可理解的。这种可解释性归功于通过限制模型输入主动排除无关工件，以及通过注意力机制准确感知决定性预后指标。
作者的模型不是追求训练队列中的最高准确度，而是在无需任何调整的情况下应用于验证队列时，展现了出色的鲁棒性和泛化能力。
五、结论
综上所述，作者提出了一种可解释的深度学习框架，以深入了解iCCA的生物学行为和临床结局。最终预测模型通过同时提取拓扑和细粒度信息，提供了全面的组织病理学表现。
作者已经证实，网络感知的大部分重要预后指标对人类思维来说是可理解的，因此有助于建立信任，说服临床用户依赖于这些计算机辅助设备。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
