文献速递：多模态深度学习在医疗中的应用--多模式深度学习实现的全癌症整合组织学-基因组学分析

Title 

题目

Pan-cancer integrative histology-genomic analysis via multimodal deep learning

多模式深度学习实现的全癌症整合组织学-基因组学分析

01

文献速递介绍

癌症的定义包括肿瘤和组织微环境中标志性的组织病理学、基因组学和转录组学的异质性，这些异质性导致治疗反应率和患者预后的可变性（Marusyk等，2012年）。目前许多癌症类型的临床范式涉及对组织病理学特征的手动评估，如肿瘤浸润、无形态、坏死和有丝分裂，然后将这些特征用作分级和分期的标准，以将患者分成不同的风险组进行治疗决策（Amin等人，2017年）。例如，在肿瘤、淋巴结和转移（TNM）分期系统中，原发肿瘤根据肿瘤的严重程度（如大小、生长、非典型性）被分类为不同的分期，然后用于治疗规划、手术资格、放射剂量和其他治疗决策（Marusyk等，2012年；Chang等，2013年；Heindl等，2015年；Kather等，2018年；Tarantino等，2021年）。

然而，组织病理学特征的主观解释已经证明存在着很大的观察者之间和观察者内部的变异性，并且同一等级或分期的患者仍然在预后上有显著的变异性。尽管已经建立了许多组织病理学生物标志物用于诊断任务，但大多数都是基于肿瘤细胞的形态和位置，缺乏对肿瘤微环境中的基质、肿瘤和免疫细胞的空间组织如何影响患者风险的细致理解（Marusyk等，2012年；Chang等，2013年；Heindl等，2015年；Kather等，2018年；Tarantino等，2021年）。

最近在计算病理学中取得的深度学习的进步使得可以利用全切片图像（WSIs）进行癌症的自动化诊断和肿瘤微环境中形态表型的定量化。利用弱监督学习，切片级别的临床注释可以用来指导深度学习算法重现常规诊断任务，如癌症检测、分级和亚型划分（Campanella等，2019年；Lu等，2021年）。尽管这种算法在狭义问题上可以达到与人类专家相当的性能，但对新型预后形态特征的量化受到限制，因为使用主观人类注释进行训练可能无法提取到迄今为止未被识别的特性，这些特性可以用于改善患者预后评估（Echle等，2021年）。为了捕获在常规临床工作流程中未提取的更客观和预后性形态特征，最近的基于深度学习的方法提出使用基于结果的标签，如无疾病生存和总生存时间作为地面真值进行监督（Harder等，2019年；Courtiol等，2019年；Kather等，2019a、2019b年；Kulkarni等，2020年；Wuclzyn等，2020年、2021年）。事实上，最近的研究表明，利用深度学习进行自动生物标志物发现的潜力巨大，并可以发现新型和预后性形态决定因素（Beck等，2011年；Echle等，2021年；Diao等，2021年）。

Abstract

摘要

The rapidly emerging field of computational pathology has demonstrated promise in developing objective prognostic models from histology images. However, most prognostic models are either based on histology orgenomics alone and do not address how these data sources can be integrated to develop joint image-omicprognostic models. Additionally, identifying explainable morphological and molecular descriptors from thesemodels that govern such prognosis is of interest. We use multimodal deep learning to jointly examine pathologywhole-slide images and molecular profile data from 14 cancer types. Our weakly supervised, multimodal deeplearning algorithm is able to fuse these heterogeneous modalities to predict outcomes and discover prognosticfeatures that correlate with poor and favorable outcomes. We present all analyses for morphological and molecular correlates of patient prognosis across the 14 cancer types at both a disease and a patient level in an interactive open-access database to allow for further exploration, biomarker discovery, and feature assessment.

计算病理学这一迅速发展的领域已经展示了从组织学图像中开发客观预后模型的潜力。然而，大多数预后模型要么基于仅仅组织学，要么基于基因组学，而没有解决如何整合这些数据来源以开发联合图像-基因组预后模型的问题。此外，从这些模型中识别能够决定预后的可解释形态和分子描述符也是一个感兴趣的问题。我们使用多模态深度学习来共同检验14种癌症类型的病理学全切片图像和分子谱数据。我们的弱监督、多模态深度学习算法能够融合这些异构模态来预测结果，并发现与不良和有利结果相关的预后特征。我们在一个交互式开放获取的数据库中呈现了对14种癌症类型的病人预后的形态和分子相关性的所有分析，以允许进一步的探索、生物标志物发现和特征评估。

Results

结果

Deep-learning-based multimodal integrationIn order to address the challenges in developing joint imageomic biomarkers that can be used for cancer prognosis, wepropose a deep-learning-based multimodal fusion (MMF) algorithm that uses both H&E WSIs and molecular profile features(mutation status, copy-number variation, RNA sequencing[RNA-seq] expression) to measure and explain relative risk ofcancer death (Figure 1A). Our multimodal network is capableof not only integrating these two modalities in weakly supervised learning tasks such as survival-outcome prediction butalso explaining how histopathology features, molecular features, and their interactions correlate with low- and high-riskpatients (Figures 1B–1E). After risk assessment within a patientcohort, our network uses both attention- and attribution-basedinterpretability as an untargeted approach for estimating prognostic markers across all patients (Figures 1B–1F). Our studyuses 6,592 gigapixel WSIs from 5,720 patient samples across14 cancer types from the TCGA (Table S1). For each cancertype, we trained our multimodal model in a 5-fold cross-validation using our weakly supervised paradigm and conductedablation analyses comparing the performance between unimodal and multimodal prognostic models. Follo