用于肺结节分类的常规 EHR 的纵向多模态Transformer集成成像和潜在临床特征

Longitudinal Multimodal Transformer Integrating Imaging and Latent Clinical Signatures from Routine EHRs for Pulmonary Nodule Classification

摘要

该研究提出了一种基于Transformer 的多模态策略，用于将重复成像与常规电子健康记录（EHRs）中的纵向临床特征整合，以进行孤立性肺结节（SPN）的分类。通过对潜在临床特征进行无监督解缠，并利用时间-距离缩放的自注意力机制，共同学习临床特征的表达和胸部计算机断层扫描（CT）。该分类器在一个公共数据集的2,668个扫描和1,149名具有纵向胸部CT、账单代码、药物和实验室检查的患者的EHRs上进行了预训练。对227名具有具有挑战性的SPN的患者进行评估，结果显示与纵向多模态基线相比，AUC显著提高（0.824 vs 0.752 AUC），并且在单个横截面多模态情景（0.809 AUC）和纵向仅成像情景（0.741 AUC）上也有所改善。这项研究证明了一种新颖方法，在利用Transformer 共同学习纵向成像和非成像表型方面具有显著优势。
代码地址

本文方法