医疗大模型巨浪淘沙，头部公立医院已从中受益

大语言模型在医疗领域的应用越来越深入，不仅提升了效率，也优化了医疗质量。

大模型浪潮下，医疗领域发生了深刻变革。自去年多个医疗大模型发布以来，各厂商都在积极探索如何与公立医院合作，将这些大模型落地到实际的场景中。

以体检报告生成为例，在大模型的助力下，现在医院平均每5秒即可自动生成一份总检报告，为医生节约超过50%的撰写时间。每日可自动生成超过500份体检报告，报告采纳率达到96%以上。

此外，多家医院的“AI医生”也都可以直接在线上使用，能实现“望体征、闻声音、问病情、切病因”，成为用户身边的健康助手。

复旦大学附属华山医院信息中心副主任刘从进对第一财经记者表示：“大语言模型在医疗领域的应用越来越深入，不仅提升了效率，也优化了医疗质量。”

科技公司抱紧头部公立医院

第一财经记者梳理，目前医疗大模型的主要场景为：全病程管理、医疗影像数智化、诊后康复管理、辅助诊断、药物/器械研发、文献搜索、手术病历撰写、门诊病历生成、医疗报告小结、检验报告智能解读、问诊对话、医院管理、用户健康助手、智慧导诊等。

但不同于其他领域的大模型，医疗大模型在多模态、安全性、专业性能力上面都提出了更高的挑战。随着医学研究对多模态数据治理能力及数据标准化的要求越来越高，这就需要产业界和医疗机构进一步加深合作。

近日，商汤医疗在上海世界人工智能大会上宣布，与包括瑞金、华西、新华、西京、中科大附属第一医院在内的头部医院启动医疗多模态大模型赋能的智慧医院建设示范样板，利用医疗大模型帮助医院建立“中枢大脑”，实现对智慧医院建设的底层赋能。

支付宝在这次大会上成为最新入局医疗大模型的互联网公司，其发布的多模态医疗大模型，可提供智能问答、病历结构化和检索、辅助诊断，识别和解读药品及上百种复杂医学报告。支付宝还与20多家机构和企业联合发起AI医疗共建计划，共同探索大模型应用及各类专科模型的创新研发。

本月，神州医疗也与南方医科大学南方医院合作建立了国内首个全院级多模态数据平台。

“手握大量优质数据资源的公立医院，才是医疗大模型主导权的真正掌控者。”一位业内人士对第一财经记者表示。

上海交通大学医学院附属瑞金医院副院长、上海市数字医学创新中心常务副主任胡伟国在本月初的一场医疗大模型创新发展论坛上表示，基于高品质和丰富的医学大数据，瑞金医院发布了医学加强的基座大模型，推出了适配应用的语言大模型和多模态大模型，并在电子病历生成、体检报告生成、智能咨询、瑞金AI医生等领域的应用持续深耕。

大模型已在公立医院多场景落地

第一财经记者了解到，上海几乎所有的头部医院都在积极探索大模型在医院各个管理环节的应用。复旦大学附属中山医院也已经发布了一款用于体检的AI辅助工具，可分析各科室全量体检结果与科室小结数据，自动提取异常项，参考相关专家共识，基于异常检查结果对健康的危害程度，进行重要异常结果的急重缓轻排序，然后按照器官系统与疾病一元论等原则进行异常结果合并分析。基于异常结果分级评分排序及合并分析，生成主检结论与健康建议，内容涵盖不同分级对应的指导要素。

复旦大学附属中山医院党委书记顾建英表示，中山医院以海量数据资产为数据服务基础建设未来医院，并创新实践了元医疗、AI语音导诊等多个医疗服务场景。

“应该将大模型技术与医学知识、医疗数据融为一体，引导技术创新与人民健康需求相结合，重点推动医疗大模型在临床诊断与治疗、健康管理等领域的应用，产生更大的健康价值和社会效益。”顾建英称。

华山医院的刘从进对第一财经记者表示，目前在华山医院，大模型主要用于三大场景，包括生成式电子病历系统、生成式慢病随访系统以及大模型在全病程管理中的应用。

他进一步解释称，生成式电子病历系统体现了大语言模型在医疗信息处理方面的高效性。系统设计涵盖了从语音转录、病历段落结构化、基本元素整理到专科电子病历的创建全过程，包括入院记录、查房记录、病程记录、手术记录等信息，这些信息通过大语言模型被自动转化为结构化数据。

“智能生成的电子病历严格遵守医疗规则，确保内容的准确性和合规性。这一系统不仅提高了病历编写的效率，同时也保证了病历质量，减少了人为错误，加强了数据的完整性和连续性。”刘从进表示。

在慢病随访系统中，大模型通过对出院小结的深度解析，能够快速提取患者的关键随访信息，如用药指导、处理建议和定期检查安排，从而生成个性化的随访计划。患者可通过随访小程序接收提醒，管理用药计划，跟踪随访进度，而医生则能在系统中审核并调整随访策略，确保治疗方案的持续性和有效性。这一系统极大地方便了医患双方，提高了慢病管理的效率和患者的生活质量。

“通专融合”，提升大模型能力

商汤科技副总裁张少霆告诉第一财经记者，目前医院使用的大模型可以以“通才调专才”的方式来实现多模态能力。通过“通才”模型和“专才”模型的相互配合，以通才模型作为任务规划的“中枢大脑”，智能调度覆盖医学文本、放射影像、病理图像等多种数据模态的专用模型，辅助医生完成跨科室、跨模态的复杂诊断推理。

他进一步称，所谓的“通才”模型，是指医疗领域的大型语言模型，例如商汤医疗研发的医疗大语言模型“大医”。同时商汤已具备一系列精通不同模态医学图像分析的领域专用模型，以增加特定任务中的优势能力，通过“通专融合”的路径打造“医疗多模态智能体”，助力智慧医院建设。

为更好地推进“通专融合”创新，面向病理科，商汤医疗联合中华医学会病理学分会王哲副主委团队、清华大学何永红教授团队，发布了国内首个病理大模型PathOrchestra。

“病理图像具有非常大的多样性，要借助人工智能技术开展诊断难度极大，因此病理图像处理也被称为图像处理中的皇冠上的明珠。病理大模型正是突破数字病理瓶颈的关键。”王哲表示。

该模型基于近30万张全切片数字病理图像（近300TB数据）数据集训练，并融合了文本、视频等多模态训练数据，通过对海量数据的自监督学习，无需大量精标注数据，即可分析肺、乳腺、肝脏、食管等20余种器官的病理图像，实现包括泛癌分类、病灶识别和检测、多癌种亚型分类、生物标志物评估等在内的百余项临床任务。

复旦大学智能医学研究院常务副院长刘雷对记者表示，大模型主要依托高性能计算资源、数据资源和知识库资源这三大要素。针对知识库资源，复旦大学医学大模型（OTMed）结合了基座大语言模型的理解、生成、推理、创造能力和多模态的生物医学知识，能增强专业能力，实现生物医学智能问答。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】