本文是LLM系列文章,针对《REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models》的翻译。
摘要
多模态电子健康记录(EHR)数据的集成显著提高了临床预测能力。利用临床笔记和多变量时间序列EHR,现有模型往往缺乏与临床任务相关的医学背景,促使外部知识的结合,特别是来自知识图谱(KG)的知识。以往的KG知识提取方法主要侧重于结构化知识提取,而忽略了非结构化数据模式和语义高维医学知识。作为回应,我们提出了REALM,这是一种检索增强生成(RAG)驱动的框架,用于增强多模态EHR表示,以解决这些限制。首先,我们使用大型语言模型(LLM)对长上下文临床笔记进行编码,并使用GRU模型对时间序列EHR数据进行编码。其次,我们提示LLM提取与任务相关的医学实体,并将专业标记的外部知识图谱(PrimeKG)中的实体与相应的医学知识进行匹配。通过与临床标准相匹配和一致,我们的框架消除了幻觉并确保了一致性。最后,我们提出了一种自适应多模态融合网络,将提取的知识与多模态EHR数据相集成。我们对MIMICIII死亡率和再入院任务的广泛实验展示了我们的REALM框架相对于基线的优越性