《利用电子病历数据预测五年慢性病队列的大语言多模态模型》

最新推荐文章于 2025-05-03 09:07:35 发布

小天才学习机打游戏

最新推荐文章于 2025-05-03 09:07:35 发布

阅读量1.4k

点赞数 27

文章标签：语言模型人工智能自然语言处理 AIGC AI大模型

本文链接：https://blog.csdn.net/m0_59164520/article/details/139707897

版权

《利用电子病历数据预测五年慢性病队列的大语言多模态模型》一文讨论了利用电子病历数据预测慢性疾病的大语言多模态模型的开发和应用。本文作者们来自美国史蒂文斯理工学院、台湾国立阳明交通大学、美国佛罗里达国际大学、美国远东纪念医院以及台湾远东纪念医院等机构。

慢性疾病，如糖尿病，是全世界发病率和死亡率的一个重要原因。以前的研究利用深度学习模型进行诊断；然而，这些深度学习模型经常面临诸如利用公开的数据集和处理不平衡数据等局限。在本研究中，作者从台湾某医院数据库中收集了五年的电子病历数据，包括临床记录、实验室检查结果和实验室检查项目。重点是预先训练大型语言模型来预测慢性疾病的风险。

作者提出了一个名为大型语言多模态模型（LLMM）的新框架，该框架结合了来自临床记录和实验室检测结果的多模态数据。该框架由文本嵌入编码器、用于学习实验室检验值的多头注意力层和用于合并血液特征与慢性疾病语义的深度神经网络(DNN)模块组成。实验表明，将clinicalBERT和PubMed BERT与注意力融合相结合，对多类慢性疾病和糖尿病的预测准确率达到73%。此外，通过将实验室检验值转换为文本描述并采用Flan T-5模型，他们实现了76%的ROC曲线下面积(AUROC)，证明了在语言模型中利用数字化文本数据进行训练和推理的有效性。该方法显著提高了早期糖尿病预测的准确性。

该文还讨论了以前的机器学习(ML)方法在处理电子病历数据方面的局限性（包括缺失值、样本大小不平衡和处理大型数据集的计算需求），尽管基于树的方法如XGBoost缓解了一些问题，但传统机器学习方法的主要局限仍然是：它们无法有效模拟和预测使用多种数据类型（如文本、图像和表格数据）的疾病。本文强调了大语言模型（LLM）在自然语言处理任务中的优势。大语言模型已经成功地训练了大量的文本数据，并在识别单词和短语中复杂的统计关系方面显示出高效性。作者强调了合并多模态数据和解决使用表格数据的数据提取和文本建模所面临的一些挑战的重要性。

该项研究使用了来自台湾远东纪念医院的多样化真实世界医疗数据集。每个数据集被分为80%的训练集和20%的测试集。该项研究的贡献包括收集了五年的电子病历数据和专门用于预测慢性疾病，特别是糖尿病的实验室检测值。作者研究了将实验室检测值转换为文本信息以用于训练大语言模型，这解决了缺失值问题，克服了大语言模型仅从数值特征预测文本结果的局限，促进了上下文学习。所提出的方法在预测糖尿病方面优于最先进的模型，尤其是在序列长度较长的情况下。该研究还表明，微调可以在不需要额外token的情况下提高临床预测模型的性能。此外，作者还提出了一种利用大语言模型结合SHAP值进行事后解释和疾病风险评估的方法。

该文全面概述了传统机器学习方法在处理大规模电子病历数据方面的局限性，并强调了大语言模型在医疗保健领域的潜力。它讨论了大语言多模态模型开发中使用的训练和预处理技术，包括合并多模态数据和将数字信息转换为文本表示。所进行的实验证明了所提出的方法在预测慢性疾病，特别是糖尿病方面的有效性。

总之，这项研究有助于使用电子病历数据利用大语言多模态模型预测慢性疾病。这一研究成果对提高医学领域的诊断精度、疾病进展预测和临床决策具有重要意义。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述