重磅！NAT MED丨上海交通大学携手清华大学与新加坡国立大学研制国际首个糖尿病诊疗多模态大模型DeepDR-LLM

**上海交通大学电院计算机系/教育部人工智能重点实验室盛斌团队携手清华大学黄天荫教授团队、上海交通大学医学院附属第六人民医院贾伟平和李华婷团队，携手新加坡国立大学覃宇宗教授团队，**通过医工交叉合作研究，构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统DeepDR-LLM，成果于2024年7月19日在Nature Medicine发表（题为Integrated image-based deep learning and language models for primary diabetes care）。

DeepDR-LLM系统融合了大语言模型和深度学习技术优势，实现了医学影像诊断与诊疗意见的多模态生成功能，能提供糖尿病视网膜病变（diabetic retinopathy, DR）辅助诊断结果及个性化糖尿病综合管理意见。

该系统自去年研制成功后，在覆盖亚非欧三大区域七个国家的多中心队列中进行了回顾性验证，以及针对中国基层医疗实际开展了前瞻性真实世界验证，首次向全球提供了面向糖尿病医疗垂直领域的多模态大模型应用成效的高质量循证证据。 研究证明DeepDR-LLM系统可有效改善DR筛查和基层糖尿病管理水平，为未来全球糖尿病治理提供了革命性的数字解决方案。

图1. 2024年7月19日本文于《Nature Medicine》杂志在线发表

研究背景

糖尿病是全球上升最快的主要慢性病，可造成失明、肾功能衰竭、截肢、脑卒中、心肌梗死等，亦与肿瘤感染等密切相关。全球糖尿病患者超5亿人，其中80%生活在中低收入国家。我国现有糖尿病人数居全球之首，糖尿病防治形势更为严峻，尤其在基层和偏远地区缺乏适宜性糖尿病管理技术，基层医生的数量和经验不能满足糖尿病管理的实际需求。糖尿病的患病率不断上升对中国及全球的公共卫生构成重大挑战。

人工智能特别是深度学习在糖尿病及并发症管理领域发挥着越来越重要的作用，如2017年，时任新加坡国家眼科中心医学主任的黄天荫教授及其团队在国际上率先基于深度学习算法在多种族人群上实现了自动诊断中重度DR病例，成果发表于JAMA，成果在智能医疗发展历史上具有里程碑式意义。

2015年来，上海交通大学贾伟平教授牵头多学科团队开展20万人糖尿病眼病筛查项目，2018年，贾伟平教授和李华婷教授团队与上海交通大学电子信息与电气工程学院盛斌教授团队开展医工交叉协同创新，并携手新加坡国家眼科中心等国际顶尖学术机构，在上海市科委和上海交通大学支持下，获批组建上海市代谢相关疾病智慧防控“一带一路”国际联合实验室，致力于在代谢相关疾病智能防治领域开展广泛医工交叉和国际合作。

联合实验室自建立以来，分析百万级数据，研制迁移强化的多任务深度学习系统DeepDR，实现对DR从轻度到增殖期病变的全病程自动诊断，并能对眼底图像的质量进行实时反馈以及眼底病变的识别分割, 成果2021年发表于Nature Communications，该技术同时应用于国际糖尿病联盟“全球中低收入国家糖尿病视网膜病变筛查项目”，推广至48个国家。

2021年底，黄天荫教授于受聘于清华大学担任讲席教授及医学学科带头人，积极开展人工智能赋能糖尿病及眼病并发症诊疗的转化研究工作。联合实验室与清华大学黄天荫教授团队通过持续性合作研究，成功构建基于Weibull混合分布模型的深度学习系统DeepDR Plus，超越由美国Google团队在该领域此前的领先技术，在全球率先实现对DR进展长达5年的风险预警和进展预测，可在大幅降低筛查频率和公共卫生成本的情况下仍保持极低的漏诊率，成果于2024年1月发表于Nature Medicine。

然而，过往的人工智能系统研发主要集中在糖尿病的并发症筛查或辅助管理的单一领域。随着全球范围内以ChatGPT为代表的生成式人工智能技术的迅猛发展，多模态大模型正不断推动医疗领域的新应用场景和模式的涌现。然而，这些模型尚不能根据患者的医学影像和具体病情，提供准确且安全的糖尿病综合诊疗建议。鉴于这种现状，如何有效整合糖尿病并发症的精准诊断与糖尿病诊疗意见的自动生成，构建出一个安全可控的多模态智能模型，以支持基层医生提供一站式辅助诊疗服务，已成为国际医疗领域的前沿课题和重大挑战。

创新概述

针对当前的技术空白和临床的实际需求，**本研究成功研发了全球首个面向糖尿病基层诊疗的视觉-大语言模型多模态集成智能系统DeepDR-LLM。**该系统由LLM模块和DeepDR-Transformer模块组成，科研团队创新性地提出融合适配器（Adaptor）和低秩自适应（Low-Rank Adaptation, LoRA）协同优化技术，构建了DeepDR-LLM多模态大模型（图2），可适配包括LLaMA在内的大语言模型，LLM模块将训练网络层与大语言模型的固有权重参数相融合，突破低算力资源约束下的多模态大模型优化的瓶颈，并进一步基于37.2万条基层慢病诊疗和慢病管理数据和知识实现了高效优化训练，使DeepDR-LLM系统可基于患者个体的临床信息生成精准糖尿病管理意见。

与此同时，DeepDR-Transformer模块引入Transformer模型架构针对超50万张眼底图像进行训练，精准实现眼底影像的质量检测、病变分割和DR分级诊断。DeepDR-Transformer模块生成的DR等相关视觉特征信息可自动输入LLM模块，从而实现DeepDR-LLM系统的一站式多模态诊疗意见集成。

图2. DeepDR-LLM系统概览

DeepDR-LLM系统自去年研制成功后，科研团队对该系统开展了安全性、可靠性、可控性、公平性等多维度的评估（图3）。研究团队邀请香港中文大学Juliana C. N. Chan教授、上海交通大学医学院附属第六人民医院包玉倩教授、澳大利亚Baker心脏病与糖尿病研究所Jonathan E. Shaw教授、美国约翰霍普金斯大学Justin B. Echouffo-Tcheugui教授、新加坡国家眼科中心Gavin Siew Wei Tan教授等糖尿病相关学科的著名学者组成国际多学科专家委员会，专家委员会首先从覆盖中国31个省区的中国糖尿病慢性并发症研究队列中随机抽取100个病例样本，专家针对每个病例形成诊疗共识，以此为标准答案，对DeepDR-LLM系统和基层医生给出的诊疗意见进行盲法评分，发现DeepDR-LLM系统产出诊疗意见的质量达到或强于基层医生的水平（图3a）。

DeepDR-LLM系统通过来自北京、上海、广州、武汉及香港等中国城市和新加坡、印度、泰国、英国、阿尔及利亚、乌兹别克斯坦六个国家的超50万张眼底图像对DeepDR-LLM系统进行外部测试，其DR诊断能力达到专业眼科医生水平（图3b）。面向中国基层医生和新加坡读片人员同时开展前瞻性读片试验，利用从中国糖尿病慢性并发症研究、新加坡眼病流行病学研究等数据库抽取的眼底图像，试验证实了基层医生在DeepDR-LLM的辅助下能够更准确地判读DR（图3c）。

此外，研究团队将集成的DeepDR-LLM系统应用于真实世界临床流程，开展了随访769名中国基层糖尿病患者的前瞻性研究，证明了在DeepDR-LLM系统纳入糖尿病诊疗流程后，可显著改善新发糖尿病患者的自我管理行为，提高DR患者的转诊依从性（图3d）。

图3. DeepDR-LLM系统评估流程

研究意义

目前全球基层糖尿病管理水平参差不齐，中低收入国家面临医疗资源不足、缺乏训练有素的基层医生等挑战。DeepDR-LLM系统具备DR辅助诊断及糖尿病管理意见推荐功能，将其纳入基层糖尿病管理诊疗流程有望提高基层DR筛查能力和糖尿病管理意见推荐能力，进而改善糖尿病患者预后（图4）。

研究团队秉承以人为本、智能向善理念，通过医工交叉和国内外学术合作，先后奏响了糖尿病智能筛、防、治的DeepDR“三部曲”（DeepDR、DeepDR-Plus、DeepDR-LLM），为基层糖尿病管理的未来变革提供了新的高质量循证证据，推动“一带一路”及中低收入国家和地区的基层糖尿病管理模式的持续进步，为全球糖尿病治理更好地融入数字化、智能化、绿色化潮流治理贡献中国方案和亚洲智慧。

图4. DeepDR-LLM系统纳入基层糖尿病管理诊疗流程的愿景

国际评价

美国斯克里普斯研究研究所(Scripps Research)所长Eric Topol教授评价：“For people with diabetes, multimodal AI provided high quality and empathetic guidance with enhanced self-management behaviors beyond the primary care physician alone”。

2023年沃尔夫医学奖得主、GLP-1研究领域的奠基人和杰出领袖、加拿大多伦多大学医学院教授Daniel J. Drucker教授评价：“DeepDR-LLM holds promise as a digital solution for enhancing primary diabetes care and diabetic retinopathy screening”。

亚洲糖尿病协会创始人、ADA国际糖尿病Harold Rifkin杰出奖获得者、香港中文大学陈重娥(Juliana C. N. Chan)教授评价：“This is a very innovative project of combining language and image AI models to address a public health problem”。

作者信息

上海交通大学博士生李佳佳（导师为盛斌教授）、博士生管洲榆（导师为贾伟平教授）、上海市保健医疗中心王静医生为本文共同第一作者。清华大学黄天荫教授为最后通讯作者，上海交通大学盛斌教授、贾伟平教授及李华婷教授，和新加坡国立大学覃宇宗教授为本文共同通讯作者。本工作还得到了来自国家基层糖尿病防治管理办公室、中国医学科学院北京协和医学院、首都医科大学、华中科技大学、中山大学、香港中文大学等多个机构及专家团队的支持和帮助。

此外，英国、美国、新加坡、澳大利亚、西班牙、马来西亚、阿尔及利亚、乌兹别克斯坦、泰国、印度等国的多学科专家团队给予了帮助和支持。该研究得到科技部国家重点研发计划、国家自然科学基金、北京市自然科学基金和上海市科委“一带一路”国际联合实验室建设项目等资助。DeepDR-LLM系统研发所需算力资源得到上海交通大学AI for Science科学数据开源开放平台的支持。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】