DeepSeeK掀起的医疗AI热潮：多模态融合才是医疗AI的主战场

自2025年以来，国内众多医院纷纷本地化部署DeepSeek（本文简称DS），掀起了一股AI在医疗行业落地应用的热潮。这场以自然语言处理（NLP）为底层核心的AI浪潮，正在重塑医院问诊流程和病历管理体系。

当我们为国产AI技术渗透医疗核心场景而振奋的同时，更需要清醒认识到：以DS为代表的文本单模态AI，仅仅是医疗智能化革命的序章，病理分析、影像诊断、手术规划、医院运营等多个应用场景更需要多模态融合发力。

1

单文本模态的局限性

DS短短2个月便在国内医疗行业形成势不可挡之态，主要得益于符合医疗数据保密需求的可本地化部署，和其宣传的低算力需求GPU配置。

据公开报道，北京协和医院、四川华西医院、上海瑞金医院、浙大院附属第一医院等全国90余家三甲医院，都已经在推进DS落地并取得显著成绩：北京协和医院门诊病历录入时间缩短40%、华西医院医生出院小结处理效率提升3倍！

但当我们深入临床一线会发现：医生在病理科显微镜前比对细胞形态时、在影像科调阅三维血管重建时、在手术室规划肿瘤切除路径时，单纯靠DS却束手无策。

我们知道，超过80%的临床决策依赖影像、病理切片、基因测序等多模态数据，但DS应对实力如何呢？

最近，仲崇海老师通过DS官网让其对自己进行模态方面的介绍，DS给的答案是：DeepSeek目前的核心能力主要集中在文本模态（自然语言处理与生成），尚未官方宣布支持原生的多模态（如图像、音频、视频的直接处理）。

而且DS还绘制了一张比较表：

根据仲崇海老师的胃病理图片识别试验，在图像理解方面，从思考过程可见单纯的DS目前起码还停留在图片内的文本识别阶段，但ChatGPT 和 Gemini都可以直接读病理图片、胃镜图片并给出分析诊断建议，且与三甲医院的病理报告意见一致。

这是试验所用真实病理报告的照片截图

DeepSeek官网的AI对话截屏

国内第三方API接口的ChatGPT-4o对话截屏

思考过程内容太长，故略

国内第三方API接口的Gemini 2.0 对话截屏

从技术层面分析，医疗AI如果单纯依赖文本模态，至少面临两大局限：

缺少多模态数据融合：临床工作中，大部分关键决策都与影像、病理、基因组学数据等存在紧密联系。若没有对图像、信号、结构化数据等多模态信息的综合分析，仅依靠文字或对文字的解析，往往难以及时、准确地洞察病情全貌。

难以满足个性化深度交互：AI辅助诊断与真实临床决策息息相关。有些疑难病例可能需要对影像标记、切片取样、三维病灶重建、分子诊断等多层次证据进行反复讨论与比对。单文本形式的对话与报告输出不足以支撑复杂诊断过程中的深度交互。

正因如此，医院在认同DS价值并快速部署应用的同时，也要意识到它目前尚处于“单文本模态”阶段的局限性，需结合更多模态的AI应用，才能全面完善智能医疗生态。

2

国产多模态医疗AI已在路上

可喜的是，多家国内公司早已经布局AI，并在不同医院有着成功应用。通过以下案例，或许利于已经本地化部署DS的医院展开如何更具渗透力的应用思考。

（一）上海瑞金医院——RuiPath

上海瑞金医院与华为在2025年共同发布了瑞智病理大模型RuiPath。该模型依托华为DCS AI解决方案，不仅能覆盖大部分常见癌种（约占中国每年全癌种发病人数的90%），还能够涉及垂体神经内分泌肿瘤等罕见病的辅助诊断。其优势在于：

多模态融合：RuiPath集成了病理图像分析、文本解读、临床数据挖掘等多种功能。医生不仅可以在系统中查看病理图像自动标记结果，还能针对疑似病灶开展深度互动式诊断对话，对疑点进行进一步放大或局部切片分析。

高效诊断支持：在华为DCS高并发、低延迟的计算支持下，RuiPath可在几分钟内完成一次病理会诊过程，为病理医生减少了大量重复、琐碎的图像鉴别工作。

适用罕见病及少见变异：对病理医生而言，面对罕见病或恶性度较高的癌变时，需要更丰富的专业知识与经验积累。RuiPath的数据库涵盖了众多罕见病变及异常走形的图谱，为临床诊断提供了更全面的参考。

（二）北京天坛医院——iStroke

对于神经科疾病而言，时间就是生命。首都医科大学附属北京天坛医院联合安德医智 BioMind推出的iStroke，聚焦在脑卒中的检测与诊断上。它通过AI实时分析患者的脑部CT、MRI等成像结果，提供“一站式”病情评估及诊断建议。其亮点包括：

快速判读：过去医生对急性脑卒中影像进行人工判读，往往花费30分钟甚至更久。iStroke能在3-5分钟内完成初步评估，并输出识别结果与相关诊断报告，极大缩短了患者等待时间。

三维重建血管：系统可同步实现颅内血管的三维重建，可准确定位血管狭窄或闭塞部位，这对溶栓或取栓手术方案的制订极为关键。

辅助诊疗决策：iStroke不仅是一个影像识别工具，更能配合医院内部流程，自动匹配合适的治疗方案建议，比如麻醉方式、介入时间窗、手术路径等。

（三）武汉市中心医院——智能手术规划

医学AI对临床最大的挑战之一在于外科手术。武汉市中心医院与推想医疗达成战略合作，将胸肺、肝胆、泌尿三类智能手术规划系统运用于外科手术中。

三维可视化规划：通过对CT、MRI影像数据的自动化重建，系统能把病灶位置、周围血管走向、神经分布等关键因素呈现给外科医生，大大提高术前规划的精确度。

辅助操作建议：智能系统结合患者其他临床指标或病史，通过算法自动生成几种可行手术方案，并在术中还可实时回传患者的生理参数，以便医生进行动态调整。

手术机器人开发：在此基础上，武汉市中心医院与推想医疗将进一步研究AI手术机器人，推动“医工结合”的深度创新，旨在让机器人的精准操作与人类医生的经验智慧有效结合。

这些案例充分反映出：多模态AI在医疗领域所扮演的角色已远不止“文本对话”，从影像病理到手术规划，再到罕见病和重症的诊疗决策，全流程各环节都能找到AI的用武之地。

换一句话说：多模态，才是医疗AI技术的主战场！

AI大模型学习路线

如果你对AI大模型入门感兴趣，那么你需要的话可以点击这里大模型重磅福利：入门进阶全套104G学习资源包免费分享！

扫描下方csdn官方合作二维码获取哦！

这是一份大模型从零基础到进阶的学习路线大纲全览，小伙伴们记得点个收藏！

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

100套AI大模型商业化落地方案

大模型全套视频教程

200本大模型PDF书籍

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

LLM面试题合集

大模型产品经理资源合集

大模型项目实战合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓