RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models

本文是LLM系列文章，针对《REALM: RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models》的翻译。

摘要

多模态电子健康记录（EHR）数据的集成显著提高了临床预测能力。利用临床笔记和多变量时间序列EHR，现有模型往往缺乏与临床任务相关的医学背景，促使外部知识的结合，特别是来自知识图谱（KG）的知识。以往的KG知识提取方法主要侧重于结构化知识提取，而忽略了非结构化数据模式和语义高维医学知识。作为回应，我们提出了REALM，这是一种检索增强生成（RAG）驱动的框架，用于增强多模态EHR表示，以解决这些限制。首先，我们使用大型语言模型（LLM）对长上下文临床笔记进行编码，并使用GRU模型对时间序列EHR数据进行编码。其次，我们提示LLM提取与任务相关的医学实体，并将专业标记的外部知识图谱（PrimeKG）中的实体与相应的医学知识进行匹配。通过与临床标准相匹配和一致，我们的框架消除了幻觉并确保了一致性。最后，我们提出了一种自适应多模态融合网络，将提取的知识与多模态EHR数据相集成。我们对MIMICIII死亡率和再入院任务的广泛实验展示了我们的REALM框架相对于基线的优越性