哈佛医学院&辉瑞推出基于知识图谱的复杂医学问答智能体MedAI

概述

哈佛医学院和辉瑞推出了 MedAI,这是一种基于知识图谱的新智能体KGAREVION,旨在改变复杂医学问答的格局。这种创新智能体通过整合LLM的非编码知识和KG的结构化知识,解决了医疗保健领域大型语言模型 (LLM) 的关键缺陷,特别是它们难以检索精确且与上下文相关的信息。通过巧妙地融合结构化和非结构化知识,MedAI 显著提高了医疗信息检索的准确性和可靠性。

在快节奏的医疗保健世界中,每个决策都可能产生深远的影响,因此寻求准确可靠的信息比以往任何时候都更加重要。MedAI 不仅仅是另一种 AI 工具;这是医疗信息检索领域的绝佳选择。通过巧妙地整合结构化和非结构化知识,它解决了传统 LLM 留下的关键空白。想象一下这样一个系统,它不仅可以理解复杂的医学术语,还可以无缝地连接不同信息之间的点。

关键要点 :

  • 哈佛医学院推出了 MedAI,这是一种基于知识图谱的智能体,旨在通过解决医疗保健中大型语言模型 (LLM) 的局限性来改进医学问答。

  • LLM 在医疗保健领域面临挑战,因为它们倾向于提供不正确或不完整的信息,并且难以将结构化数据与非结构化文本集成。

  • MedAI 使用统一医学语言系统 (UMLS) 代码将 LLM 与特定领域的知识图谱相结合,以提高医疗信息检索的准确性和上下文相关性。

  • MedAI 的方法包括为医学概念生成三元组,将 LLM 令牌嵌入与知识图谱嵌入保持一致,以及为知识图谱完成任务微调 LLM。

  • MedAI 通过利用 LLM 和知识图谱的优势,展示了在复杂医疗查询中的性能改进,为医疗信息检索提供了强大的解决方案。

  • KGAREVION 结合了大型语言模型 (LLM) 的非编码知识和知识图谱 (KG) 的结构化知识,以解决复杂医学问答中的挑战。KGAREVION 通过“生成阶段(生成医疗三元组)、审查阶段(利用UMLS代码将三元组与知识图谱进行比对验证)、修正阶段(修正不完整或不正确的医疗三元组)和回答阶段(选择最佳答案)。”四个步骤,确保答案的准确性和相关性。

  • KGAREVION 在四个标准医学问答数据集和三个新的具有不同语义复杂性的数据集上均优于其他15个模型,准确率提升超过5.2%。 对答案的顺序和索引不敏感,展现了其鲁棒性。

  • KGAREVION 可以与不同的LLM和KG一起使用,具有很强的适应性和通用性。

  • KGAREVION 在开放式问答设置中也表现出色,并通过消融实验验证了各个模块的有效性。

  • 研究人员创建了新的MedDDx数据集,用于评估模型处理语义复杂答案的能力。

挑战:医疗保健领域的 LLM

虽然 LLM 在各个领域都显示出非凡的前景,但它们在医学环境中面临着巨大的挑战。这些限制包括:

  • 倾向于提供不正确或不完整的信息

  • 难以将结构化数据与非结构化文本集成

  • 在复杂的医学推理任务中表现不佳

  • 医学术语使用缺乏一致性

这些缺点可能会导致医疗保健环境中的潜在有害结果,在这些环境中,精确度和准确性至关重要。LLM 无法有效地将结构化数据(如医学代码)与非结构化文本相结合,导致在理解复杂的医学概念方面存在重大差距。这种限制严重阻碍了他们在需要细致入微的医学推理的任务中的有效性。

MedAI:基于知识图谱的解决方案

为了克服这些挑战,哈佛大学的研究人员开发了 MedAI,它将 LLM 的强大功能与特定领域的知识图谱相结合。这种创新方法使用统一医学语言系统 (UMLS) 代码来一致地映射医学术语,从而创建结构化和非结构化知识的无缝融合。

MedAI 的方法涉及几个关键步骤:

1. 三元组生成 :系统生成三元组以提取医学概念及其关系,创建一个全面的医学知识网络。

2. 知识图谱验证:这些三元组通过全面的医学知识图谱经过严格的审查和验证,确保准确性和相关性。

3. LLM 微调 :该系统对与知识图谱完成相关的任务的 LLM 进行微调,增强它们预测缺失关系或实体的能力。

4. 令牌嵌入对齐:MedAI 将 LLM 令牌嵌入与知识图嵌入保持一致,确保信息源的连贯集成并提高模型的整体性能。

相关工作

  • 基于LLM的推理。通用LLM(GPT(OpenAI,2024)、LLaMA系列(Dubey等,2024;Touvron等,2023)、Mistral(Jiang等,2023))以及针对生物医学数据进行微调的LLM(BioMedLM(Venigalla等,2022)、Codex(Liévin等,2024)、MedAlpaca(Han等,2023)、Med-PaLM(Singhal等,2023)、PMC-LLaMA(Wu等,2024a))通过利用其丰富的嵌入知识用于医疗推理。其他模型利用LLM的开放式推理能力将查询分解为子任务,逐步得出最终答案,例如思维链(Chain-of-Thought,CoT)(Wei等,2024)、CODEX COT(Gramopadhye等,2024)。但是,这些方法在处理需要多来源特定知识的知识密集型医疗查询时常常显得捉襟见肘。

  • 基于RAG的模型。Self-RAG(Asai等,2024)是一种开创性框架,通过检索和自我反思来增强LLM性能。LLM-AMT(Wang等,2023b)通过将权威医学教科书整合到具有专业知识检索和自我优化技术的大型语言模型中,来改善医学问答。自适应RAG(Jeong等,2024)引入了一种动态RAG框架,根据问题复杂度调整检索策略。然而,其准确性受限于检索知识的质量(Zhang等,2024)。

  • 基于KG的模型。在LLM兴起之前,多个模型(如QAGNN(Yasunaga等,2021)、JointLK(Sun等,2022)和Dragon(Yasunaga等,2022))被开发出来,旨在通过KG以端到端的方式解决医学查询。然而,这些方法难以应用于涉及未见节点或图中不完整知识的问题。此外,KG因其结构化和可靠的信息,已推动研究朝向基于图数据的RAG模型,激励了GraphRAG(Edge等,2024)、KG-RAG(Soman等,2023)和MedGraphRAG(Wu等,2024b)等模型的发展。为提高检索准确性,引入KG-Rank(Yang等,2024)对检索到的三元组进行排名并过滤掉无关知识。此外,GenGround(Shi等,2024)使用生成-再验证(Generate-then-Ground)流程,通过提示LLM验证检索到的知识来定位答案。然而,所有这些方法都过于依赖语义依赖关系,忽视了KG中丰富的结构信息。

  • Knowledge-Graph AGENT (MedAI)视频详细介绍

知识图谱智能体的优势

“生物医学知识具有独特的复杂性和结构化性,与物理学或化学等其他科学学科相比,需要不同的推理策略。生物医学科学家不依赖于单一的推理方法;相反,他们使用各种策略,包括基于规则、基于原型和基于案例的推理。这种多样性需要灵活的方法,在利用域内知识的同时适应多种推理策略。

我们介绍了 KGAREVION,这是一种基于知识图谱 (KG) 的智能体,旨在解决知识密集型医疗查询的复杂性。收到查询后,KGAREVION 使用 LLM 的知识库生成相关的三元组。然后,根据接地的 KG 验证这些三元组,以过滤掉错误信息,并确保只有准确、相关的数据才能为最终答案做出贡献。

图:a)KGAREVION的概述。b)在审核动作中微调阶段的架构,其中从知识图谱(KGs)获得的嵌入是结构嵌入,而来自大型语言模型(LLMs)的嵌入是概念嵌入。

与基于 RAG 的模型不同,这种多步骤过程可确保推理的稳健性,同时适应不同的医学推理模型。对四个黄金标准医疗 QA 数据集的评估表明,KGAREVION 将准确性提高了 5.2% 以上,在处理复杂医疗问题方面的表现优于 15 个模型。为了测试其功能,我们策划了三个具有不同语义复杂程度的新医学 QA 数据集,其中 KGAREVION 的准确率提高了 10.4%。

在官方研究论文中阅读更多关于医学问答最新进展的信息。https://arxiv.org/pdf/2410.04660

知识图谱与 LLM 的集成具有许多优势:

  • 显著提高医学问答的推理和准确性

  • 增强了预测知识图谱中缺失关系或实体的能力

  • 知识图谱或 LLM 持续更新的可能性

  • 在处理复杂的医疗概念方面具有卓越的性能

  • 更可靠且与上下文相关的信息检索

这些优势使 MedAI 成为医疗保健专业人员的强大工具,为他们提供可靠和最新的信息。该系统适应新医学知识的能力确保了其在快速发展的医疗保健领域的持续相关性。

结果:提高了复杂查询的性能

MedAI 的实施显著提高了复杂医疗查询的准确性。通过利用 LLM 和知识图谱的优势,该智能体展示了卓越的性能,尤其是在医学概念的复杂性增加时。这种方法有效地解决了传统检索增强生成方法的局限性,为医疗信息检索提供了强大的解决方案。

在比较研究中,MedAI 表明:

  • 回答复杂医学问题的准确率更高

  • 提高使用医学术语的一致性

  • 更好地集成结构化和非结构化医疗数据

  • 增强提供上下文相关信息的能力

这些结果强调了 MedAI 在显著提高医疗信息检索系统的质量和可靠性方面的潜力。

哈佛大学的 MedAI 代表了医学问答技术的重大飞跃。通过将 LLM 与结构化医学知识图谱无缝集成,这种基于知识图谱的智能体增强了推理能力和准确性,为更可靠、更高效的医疗保健解决方案铺平了道路。随着医疗保健行业的不断发展,像 MedAI 这样的工具将在确保医疗专业人员能够获得最准确和相关的信息方面发挥关键作用,最终改善患者护理和结果。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值