NUS、NTU团队发布医疗大模型综述,全面介绍大模型在医疗领域的最新研究进展...

f7bd624de8b0f0e01f5befcc32f04edd.gif

©PaperWeekly 原创 · 作者 | 和凯

单位 | NUS博后

研究方向 | NLP

a7b292608b0a12e00d3265dc6d39af0d.png

论文地址:

A Survey of Large Language Models for Healthcare: from Data, Technology, and Applications to Accountability and Ethics

论文地址:

https://arxiv.org/abs/2310.05694

c817ed56d63c6db82506051e2e48fb81.png

综述简介

近日,新加坡国立大学 Dr. Mengling Feng 与南洋理工大学 Prof. Erik Cambria(IEEE Fellow)联合团队发布了最新的医疗大模型综述文章,全文共 43 页,覆盖 300 余篇参考文献,从计算机研究员与医疗专业人员的两个视角,全面的介绍了大模型在医疗领域的最新研究进展。

文章不仅从技术角度(包括数据、技术、应用)出发,同时还包含了公平性、问责制、透明度和道德伦理的讨论。文章指出了现阶段医疗人工智能正在经历从传统 Pretrained Language Model(PLM)到 Large Language Model(LLM)的重大范式转变,同时强调了数据为中心的方法论的重要性。

0ff376fa43fd6923aeb226fbe7396f5a.png

▲ Fig.2. The organizational framework for the content. Section III, Section IV, Section V are technology details, while Section II, Section VI and Section VI are more valued for Healthcare professionals.

7179aba28639bd000d17f35b51f47785.png

大模型在医疗领域的应用

将 PLM 或 LLM 应用于医疗保健领域的研究已经持续了一段时间。由于医学领域本身的复杂性和模型能力的局限性,在早期阶段,相关研究主要集中在基本任务上,包括医学命名实体识别(NER)、关系提取(RE)、文本分类(TC)和语义文本相似性(STS)。

最近,有研究提出了通用人工智能(AGI)概念,并且在包含医疗的多个领域得到了更多的实际应用。例如,一些在线医疗咨询系统可以为患者解答专业医疗问题,并充当医院的向导。此外,一些研究人员还探索了多模态医疗报告的自动生成。医疗领域 LLMs 的整体应用框架如下图所示。

3f8da0ad0c40e333e589a7667603a786.png

▲ Fig.3. LLMs for Healthcare: from fundamental task to advanced applications.

45a858427b2454617940a718f3c9dbfd.png

从医疗PLM到LLM的转变:数据、技术,应用,评价

除了模型规模不断扩大之外,从 PLMs 到 LLMs 的两个重要发展是从判别式人工智能过渡到生成式人工智能,以及从以模型为中心的方法过渡到以数据为中心的方法。

在 PLMs 时期,已发布的 PLMs 主要针对自然语言理解(NLU)任务进行评估,如提到的 NER、RE 和 TC。这些研究被归类为判别型人工智能,主要集中于分类或回归任务,而非生成任务。相比之下,生成式人工智能生成新内容,通常要求模型在生成新内容之前理解现有数据(如文本指令)。生成式人工智能的评估任务通常是质量保证和对话任务。对话能力是生成式人工智能最重要的能力之一,而大模型可以将 PLM 时代多模块的对话系统整合为一个整体,大大提升了对话的性能表现。

c5d9e316924ad0d98603acb6eefc51aa.png

▲ Fig.4. The comparison between PLMs-based with LLMs-based dialogue system.

随着通用 LLM 研究的发展,医疗领域的 LLM 也随之引起来更多的关注。与以往 PLM 研究中强调的神经架构设计、预训练任务和训练策略不同,针对医疗领域的 LLM 研究更加强调收集多样化、精确和专业的医疗数据,以及数据的安全和隐私保护。此综述不仅总结了已有的医疗 LLM(见表 Ⅲ),统计分析了训练这些大模型数据使用情况与需要的计算资源(见表 Ⅶ 与表 Ⅷ), 并介绍的如何在医疗领域评价 LLM。

1394befe63c728d05501f0c95104bacb.png

7c946ff9c6b43892c7cb6d4610ba054f.png

d185d42f847f01d0d67a18b961942f32.png

77f70ba66d303c8f7ad8fc1ffcf4a9f5.png

医疗大模型的公平性、问责制、透明度和道德伦理

公平、问责、透明和道德是人工智能领域的四个重要关切,在确保人工智能不会延续或加剧既有的社会差距方面具有至关重要的意义。其中,问责制在确保负责人工智能构想和执行的个人能够对其决策负责方面发挥着重要作用;透明度在确保人工智能接受监督和审计可能存在的偏见或不准确性方面起着至关重要的作用;同样,道德伦理在确保人工智能的构建和使用方式符合现行社会价值观和规范方面起着关键作用。

在医疗领域,这四个方面更为重要,因为首要关注点是患者的福祉和安全。在这种情况下,最重要的是确保病人获得最佳护理,公平地获得医疗服务。此外,医疗保健决策的透明性和可信性、提供准确医疗诊断和治疗的责任感、保护患者隐私以及遵守较高的道德标准也是非常值得注意的考虑因素,这使得医疗保健有别于其他领域的人工智能应用。综述从上述四个角度,展开了详细的论述。

ee6d3f00ef07bb7335a3b708f948a405.png

未来研究展望

综述从技术方面总结了对医疗 LLM 最为重要的四点,包括医学知识的提升、与医疗保健流程的整合、患者和医生的有效互动、以及幻觉、误解和提示敏感的问题。

更多阅读

6cf69fef7e0a325715c53bf7d7a96868.png

64a92f01665ed1fb91eca72dc7ad025a.png

0355d3523c9a580d7df43d5b92bf9aa4.png

f8ba6efa4cfc934a639d819dffe61728.gif

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。

总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。

📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道:

• 投稿邮箱:hr@paperweekly.site 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿

25cf6159a3a0a2ddf542efd8558469f1.png

△长按添加PaperWeekly小编

🔍

现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·

7a3efaccfc65af510e717fff477ea05f.jpeg

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值