DeepSeeK掀起的医疗AI热潮下医院须冷静：多模态融合才是医疗AI的主战场

本文链接：https://blog.csdn.net/m0_59235945/article/details/146146581

自2025年以来，国内众多医院纷纷本地化部署DeepSeek（本文简称DS），掀起了一股AI在医疗行业落地应用的热潮。这场以自然语言处理（NLP）为底层核心的AI浪潮，正在重塑医院问诊流程和病历管理体系。

当我们为国产AI技术渗透医疗核心场景而振奋的同时，更需要清醒认识到：以DS为代表的文本单模态AI，仅仅是医疗智能化革命的序章，病理分析、影像诊断、手术规划、医院运营等多个应用场景更需要多模态融合发力。

1.单文本模态的局限性

DS短短2个月便在国内医疗行业形成势不可挡之态，主要得益于符合医疗数据保密需求的可本地化部署，和其宣传的低算力需求GPU配置。

据公开报道，北京协和医院、四川华西医院、上海瑞金医院、浙大院附属第一医院等全国90余家三甲医院，都已经在推进DS落地并取得显著成绩：北京协和医院门诊病历录入时间缩短40%、华西医院医生出院小结处理效率提升3倍！

但当我们深入临床一线会发现：医生在病理科显微镜前比对细胞形态时、在影像科调阅三维血管重建时、在手术室规划肿瘤切除路径时，单纯靠DS却束手无策。

我们知道，超过80%的临床决策依赖影像、病理切片、基因测序等多模态数据，但DS应对实力如何呢？

最近，仲崇海老师通过DS官网让其对自己进行模态方面的介绍，DS给的答案是：DeepSeek目前的核心能力主要集中在文本模态（自然语言处理与生成），尚未官方宣布支持原生的多模态（如图像、音频、视频的直接处理）。

而且DS还绘制了一张比较表：

根据仲崇海老师的胃病理图片识别试验，在图像理解方面，从思考过程可见单纯的DS目前起码还停留在图片内的文本识别阶段，但ChatGPT 和 Gemini都可以直接读病理图片、胃镜图片并给出分析诊断建议，且与三甲医院的病理报告意见一致。

这是试验所用真实病理报告的照片截图

DeepSeek官网的AI对话截屏

国内第三方API接口的ChatGPT-4o对话截屏

思考过程内容太长，故略

国内第三方API接口的Gemini 2.0 对话截屏

从技术层面分析，医疗AI如果单纯依赖文本模态，至少面临两大局限：

缺少多模态数据融合：临床工作中，大部分关键决策都与影像、病理、基因组学数据等存在紧密联系。若没有对图像、信号、结构化数据等多模态信息的综合分析，仅依靠文字或对文字的解析，往往难以及时、准确地洞察病情全貌。

难以满足个性化深度交互：AI辅助诊断与真实临床决策息息相关。有些疑难病例可能需要对影像标记、切片取样、三维病灶重建、分子诊断等多层次证据进行反复讨论与比对。单文本形式的对话与报告输出不足以支撑复杂诊断过程中的深度交互。

正因如此，医院在认同DS价值并快速部署应用的同时，也要意识到它目前尚处于“单文本模态”阶段的局限性，需结合更多模态的AI应用，才能全面完善智能医疗生态。

2.国产多模态医疗AI已在路上

可喜的是，多家国内公司早已经布局AI，并在不同医院有着成功应用。通过以下案例，或许利于已经本地化部署DS的医院展开如何更具渗透力的应用思考。

（一）上海瑞金医院——RuiPath

上海瑞金医院与华为在2025年共同发布了瑞智病理大模型RuiPath。该模型依托华为DCS AI解决方案，不仅能覆盖大部分常见癌种（约占中国每年全癌种发病人数的90%），还能够涉及垂体神经内分泌肿瘤等罕见病的辅助诊断。其优势在于：

多模态融合：RuiPath集成了病理图像分析、文本解读、临床数据挖掘等多种功能。医生不仅可以在系统中查看病理图像自动标记结果，还能针对疑似病灶开展深度互动式诊断对话，对疑点进行进一步放大或局部切片分析。

高效诊断支持：在华为DCS高并发、低延迟的计算支持下，RuiPath可在几分钟内完成一次病理会诊过程，为病理医生减少了大量重复、琐碎的图像鉴别工作。

适用罕见病及少见变异：对病理医生而言，面对罕见病或恶性度较高的癌变时，需要更丰富的专业知识与经验积累。RuiPath的数据库涵盖了众多罕见病变及异常走形的图谱，为临床诊断提供了更全面的参考。

（二）北京天坛医院——iStroke

对于神经科疾病而言，时间就是生命。首都医科大学附属北京天坛医院联合安德医智 BioMind推出的iStroke，聚焦在脑卒中的检测与诊断上。它通过AI实时分析患者的脑部CT、MRI等成像结果，提供“一站式”病情评估及诊断建议。其亮点包括：

快速判读：过去医生对急性脑卒中影像进行人工判读，往往花费30分钟甚至更久。iStroke能在3-5分钟内完成初步评估，并输出识别结果与相关诊断报告，极大缩短了患者等待时间。

三维重建血管：系统可同步实现颅内血管的三维重建，可准确定位血管狭窄或闭塞部位，这对溶栓或取栓手术方案的制订极为关键。

辅助诊疗决策：iStroke不仅是一个影像识别工具，更能配合医院内部流程，自动匹配合适的治疗方案建议，比如麻醉方式、介入时间窗、手术路径等。

（三）武汉市中心医院——智能手术规划

医学AI对临床最大的挑战之一在于外科手术。武汉市中心医院与推想医疗达成战略合作，将胸肺、肝胆、泌尿三类智能手术规划系统运用于外科手术中。

三维可视化规划：通过对CT、MRI影像数据的自动化重建，系统能把病灶位置、周围血管走向、神经分布等关键因素呈现给外科医生，大大提高术前规划的精确度。

辅助操作建议：智能系统结合患者其他临床指标或病史，通过算法自动生成几种可行手术方案，并在术中还可实时回传患者的生理参数，以便医生进行动态调整。

手术机器人开发：在此基础上，武汉市中心医院与推想医疗将进一步研究AI手术机器人，推动“医工结合”的深度创新，旨在让机器人的精准操作与人类医生的经验智慧有效结合。

这些案例充分反映出：多模态AI在医疗领域所扮演的角色已远不止“文本对话”，从影像病理到手术规划，再到罕见病和重症的诊疗决策，全流程各环节都能找到AI的用武之地。

换一句话说：多模态，才是医疗AI技术的主战场！

3.百花齐放才是春

还有数日，便是预示春雷乍动的惊蛰，春天的气息已经渐浓。DS更是在春节期间便异军突起，吹起了医疗AI春天来临的号角。

而根据相关研究报告，我国医疗+AI的市场规模在2030年将超过3000亿元，即便跳出诊疗核心场景，医疗AI的创新维度仍在持续扩展：

阿里健康："Doctor You"通过分析语音震颤、面部微表情等多模态数据，实现帕金森病的早期筛查。

碳云智能：打造的数字孪生系统，能整合基因组、代谢组、微生物组数据预测慢性病风险。

晶泰科技：系统化打造AI药物研发平台，通过分子动力学模拟将化合物筛选效率提升百倍。

……

中国工程院院士、瑞金医院院长宁光在一次采访中曾表示，“在不远的未来，医学场景与数字化设备的融合，将产生更多具备人文观点和情怀的医疗新技术，实现多模态融合技术在医学领域更广阔的应用前景。”

对医院而言，只有认识到AI的多模态多场景应用必要性，才能避免被单一技术路线锁定、才能更有效地规划本院的数字化转型路线，从而让各种解决方案真正满足患者需求、切实提升诊疗质量、稳健提升自身竞争力。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述