论文基本信息
论文题目:Interpretable deep learning model to predict the molecular classification of endometrial cancer from haematoxylin and eosin-stained whole-slide images: a combined analysis of the PORTEC randomised trials and clinical cohorts
发表期刊:The Lancet Digital Health
摘要
背景
子宫内膜癌可以在分子层面被归类为四种类型:
- POLE突变型(POLEmut)
- 错配修复缺陷型(MMRd)
- p53异常型(p53abn)
- 无特定分子特征型(NSMP)
目的
开发一种可解释的深度学习流程,用于基于全幅切片图像预测子宫内膜癌的这四种分子分类(简称im4MEC),识别形态分子相关性,并改善预后评估。
数据
来自2028名中高风险患者的HE切片以及分子和临床数据:
- PORTEC-1(466例)
- PORTEC-2(375例)
- PORTEC-3(393例)
- TransPORTEC(110例)
- Medisch Spectrum Twente cohort(242例)
- Leiden Endometrial Cancer Repository(47例)
- TCGA(395例)
方法
- 将WSI分割为224×224像素的小块
- im4MEC识别小块的形态特征,并通过注意力机制对WSI进行分子分类
- 复查注意力得分最高的20个小块,以确定形态分子相关性
- 分析5年无复发生存率,并通过Kaplan-Meier方法探讨了基于分子分类的优化预后。
发现
- POLEmut和MMRd的图像块中淋巴细胞密度高,p53abn的图像块呈现出显著的核异型性,并且POLEmut与MMRd子宫内膜癌的形态特征有所重叠。
- im4MEC预测的分子类别,5年无复发生存率存在显著差异。
- 被预测为MMRd的十名具有侵袭性p53abn子宫内膜癌患者显示出炎症形态学,并似乎比被正确预测为p53abn的患者有更好的预后
- 被预测为p53abn的四名NSMP子宫内膜癌患者表现出更高的核异型性,并且似乎比被正确预测为NSMP的患者有更糟的预后
- 被预测为POLEmut的MMRd子宫内膜癌患者拥有更好的预后,与真正的POLEmut子宫内膜癌患者一样。
引言
- 四种分类: POLEmut 、MMRd、 p53abn、NSMP
- (分类标准详见论文,注:如果同时满足多种类别标准则按指定顺序确定类别)
- 分类对预后有不同影响
- POLEmut预后好, MMRd和NSMP一般, p53abn最差
- 现有不足:
- 子宫内膜癌的分子和组织学分类系统是独立,分类有争议
- 需要找到分子分类对应的形态学特征
- 纳入与分子类别独立的肿瘤微环境特征有助于预后分层
- 建立子宫内膜癌形态-分子相关性能深化对分子分类的理解,有利于预后精细化。
- 深度学习的优势:
- 可以将复杂的视觉特征与分子疾病特征联系起来
- 并且可以使用HE预测筛选遗传性癌症综合征
- 已有研究提供了从HE图像预测子宫内膜癌的改变
- 现有的深度学习方法没有预测子宫内膜癌的四类分子分类,可解释性有限,并且没有与生存结果联系起来
- 研究设计:
- 数据:
- 2028 = 2751-360没有HE的-177分类不明的-60没有标本的-3图像模糊的-60图像放大倍率低的-33图像不含肿瘤的-30图像质量差的
- 指标:
- AUROC , precision, recall, F1 score, accuracy, specificity, negative predictive value, 混淆矩阵
- 数据:
方法
深度学习流程
- A 预处理
- 利用常规的阈值法自动分割WSI的组织部分,将每个WSI的组织区域切割为224×224的patch(每个WSI约有26000个patch)
- B 自训练
- 使用MoCo-v2,编码器为ResNet-50
- C 特征提取
- 使用ResNet-50为每个patch生成一个2048大小的特征向量
- D 分类
- 给WSI进行分类,并为每个patch计算注意力得分
- E 解释
- 选取每个WSI前20个最高注意力得分的patch,使用Hover-net分割和分类细胞并获得形态学特征,进行进一步分析
结果
分类结果
调查预测结果与真实结果一致的案例,以识别子宫内膜癌的形态分子相关性
从预测正确的patch中,每个类别选择前12个概率得分最高的patch
观察patch得到结论:
- POLEmut的patch凸显了实体肿瘤生长,肿瘤浸润淋巴细胞和周围淋巴细胞的高密度,以及分散的肿瘤巨细胞的存在。
- MMRd的patch展示了高密度的淋巴细胞和主要的实体肿瘤生长特征;尽管如此,一些图块也表现出腺体结构。
- NSMP的patch主要展示了带有光滑腔界的腺体、轻度的核异型性、低密度的淋巴细胞以及局部的鳞状分化。
- p53abn的patch展示了低密度的淋巴细胞、显著的核异型性、高的肿瘤对间质比,以及呈现出实体和腺体结构的肿瘤区域,这些腺体通常有着参差不齐的腔界表面。
细胞特征分析
- 选取预测正确的类别的注意力分数最高的前20个patch,使用Hover-net提取5种特征:炎症细胞数量、基质细胞数量和肿瘤细胞数量、肿瘤细胞的大小和形状。
- POLEmut和MMRd显示出比NSMP和p53abn病例显著更多的炎症细胞。
- POLEmut相较于MMRd和NSMP,其肿瘤细胞核的大小也显著更大。
- NSMP显示出比POLEmut 、MMRd和p53abn显著更多的基质细胞和更少的肿瘤细胞,这暗示了低肿瘤-基质比例作为这一类别的新特征。
- p53abn病例基于细胞核的大小和形状显示出更强的肿瘤细胞核异型性。
通过支持向量机以这5个特征来预测分子类别,根据权重判断每个特征对于分类的贡献。
- 炎症细胞数量对POLEmut和MMRd的预测产生了积极的贡献,而对NSMP和p53abn的预测产生了负面的贡献。
- 基质细胞数量对NSMP的预测产生了积极的贡献(表明了低肿瘤-基质比例),而肿瘤细胞核的异型性则强烈地贡献于一致p53abn的预测,其中肿瘤细胞核的大小比核形状有更大的影响。
- 在将分析扩展到基于图像的分子类别时,观察到了相似的形态分子相关性及其相对贡献,这表明预测性形态特征是由im4MEC预测提供的,并突显出每个分子类别内部某种程度的异质性。
预后分析
预测的预后结果和真实的预测结果非常接近。
被预测为imMMRd的p53abn展现出MMRd的形态特征
具有MMRd特征的p53abn具有更好的预后
(although this difference was not statistically significant)
被预测为imp53abn的NMSP具有更高的核异型性和肿瘤-基质比(这都是p53abn的典型特征)
具有p53abn形态学特征的NSMP预后比一般的NSMP更差
(although this difference was not statistically significant)
被预测为POLEmud的MMRd有很好的预后
被预测为POLEmud的比一般的MMRd的肿瘤细胞核更大,但细胞组成相似,这可能解释了模型的混淆