展望：多模态融合与marker推断

技术进步使得利用高维、高通量、多尺度的生物医学数据从多个角度研究患者和疾病成为可能。在肿瘤学中，正在生成大量数据，从分子、组织病理学到临床记录。深度学习的引入极大地促进了生物医学数据的分析。然而，大多数方法都侧重于单一模态，导致整合互补数据类型的方法进展缓慢。开发有效的多模态融合方法变得越来越重要，因为单一模态不足以捕捉复杂疾病的异质性。现在，许多方案都侧重于整合这些不同的模态，以揭示癌症等疾病所涉及的生物学过程。然而，仍然存在许多障碍，包括缺乏可解释的发现。在这里，作者将介绍当前的挑战，并反思通过深度学习解决多模态可解释性。

来自：Multimodal data fusion for cancer biomarker discovery with deep learning，Nature Machine Intelligence，2023----perspectives

背景概述

医学正朝着收集多模态患者数据的方向发展，整合不同的数据模态可以增强我们对癌症的了解，并为精准医疗铺平道路，精准医疗有望实现个性化诊断、预后、治疗和护理。

新一代测序 (NGS) 的进步现在允许进行多靶点伴随诊断检测，这种检测正变得越来越普遍。成本的持续降低使得同时分析数千个基因组区域成为可能，这暗示多靶点可能很快就会以与单独测试五到十个靶点类似的价格运行。多靶点测试不仅节省时间，而且还有可能识别复杂的遗传相互作用，从而增强我们对肿瘤生物学的理解。Pacific Biosciences 和 Oxford Nanopore Technologies最近在临床环境中用于诊断罕见遗传病，诊断周期仅为 8 小时12。由于癌症往往由多种因素引起，精准肿瘤学领域从这些发展中受益匪浅。

同时，组织病