图源:123RF
大模型在医疗行业的浪潮,似乎已从一年前的热烈喧嚣中逐渐归于沉静。
在医疗这片广阔的领域中,随着数据量的井喷式增长和需求的持续高涨,大模型的规模化应用似乎拥有了得天独厚的条件。短短一年间,科技巨头、医疗信息化企业和新兴创业团队纷纷涌入这片蓝海,推出了数十款各具特色的垂直大模型。然而,令人遗憾的是,这些大模型中的绝大多数并未能广泛触及普通用户,有的甚至在测试阶段便悄然隐退。
在当下,大模型的推理成本不断降低,其应用前景也愈发清晰。那么,医疗行业中的大模型究竟处于怎样的落地状态?它们又将如何演变,以适应并满足未来医疗领域的种种需求和挑战?
近期,**亿欧大健康&昂东数智正在进行关于大模型在医疗中应用与商业化落地现状的研究,**将全面审视医疗大模型的发展现状,深入剖析其落地实践与商业模式,旨在为整个产业的稳健前行提供有力的支撑和指引。
01
要解决实际场景的真问题
大模型在医疗行业中要实现广泛应用时,其训练数据集必须囊括海量的医疗科研文献、电子病历以及高精度的医学图像等多元化数据。参数量通常在百万级到亿级,庞大的参数规模能够获取更强的特征提取和学习能力。
大模型凭借以其强大的生成、推理和交互能力,能够为医疗专业人员、患者及各方利益相关者带来了诸多潜在的应用价值,主要体现在以下三个方面:
一是辅助医生和护士更有效地处理大量的患者数据,包括病历、实验室结果和影像报告等,从而提高诊断的准确性和效率。具体包括临床预警、CDSS、知识查询、病历生成、诊后随访、疾病评估、麻醉评估、报告生成、科研探索等。 例如腾讯健康混元通用大模型,针对医疗领域升级了多个AI产品,包括智能对话、病例结构化与检索、影像报告和辅助诊断等。
二是预测疾病风险,为患者提供个性化的医疗服务,并在远程医疗、患者自我管理和健康教育等方面发挥作用,提升医疗服务可及性。包括分级诊疗、预问诊、智能预检、报告解读、指标解读、档案生成、用药咨询、健康咨询等。 如讯飞医疗基于星火认知大模型研发的诊后康复管理平台,专注于康复指导和诊后管理,提供个性化康复计划,服务延伸至患者日常生活。
三是在医院管理中,通过与医疗专业人员的协同工作,提高医疗服务效率、质量和患者满意度。包括病历质控、处方审核、运营分析、DRG助手、不良事件等。 如东软针对医疗领域推出的添翼大模型,融合医疗行业解决方案、产品与服务,添翼的多模态数据融合能力可为医院管理者提供对话式交互和数据洞察,简化数据应用,实现精细化医院管理。
此外,在药物研发过程中,医疗大模型可预测药物-蛋白质相互作用和药物毒性等信息,从而评估新药的功效和安全性,有助于缩减研发周期,加速新药发现。 如清华系初创团队水木分子推出新一代对话式药物研发助手Chat DD,涵盖药物立项、临床前研究、临床试验各阶段,有效提升药物研发人员的工作效率。
可以说,大模型要真正体现其价值,关键在于能够紧密贴合实际医疗场景,并解决实际场景中的具体问题。
而由于医疗领域的独特性、专业性和复杂性,也要求大模型不仅要具备强大的学习能力,更要深入理解医疗的专业知识和场景需求。
据长期关注医疗行业的观察人士分析,目前医疗行业中的大模型,多数基于通用大模型或特定专用大模型的架构进行构建,并借助如临床指南、PubMed等公开数据源,以及常见的搜索数据生成训练集,其中一些大模型也会增加一些医学微调。
所以,在医疗行业,跳过领域(医疗)大模型,仅仅依赖通用大模型进行医学相关的数据训练,是否能完全解决复杂场景的问题?医疗大模型是否可以直接套用通用大模型的模式,这一疑问可能还需要时间和未来大模型产品的实际表现来解答。
02
多家企业竞相布局专病/专科大模型
随着AI技术的发展,大模型目前已经可以分析多模态信息,如文本、图像、基因组数据等,多模态数据的整合可以增加训练数据的丰富性,基于多模态数据库开发的各种垂直专病/专科大模型或将成为未来医疗大模型的重要发展方向。
专科/专病大模型是基于大模型框架,针对特定的疾病或专科领域进行深度定制,模型通过收集并整合患者病历数据、科研数据等多元化信息,进行精细化的模型训练,能够提供更准确、更高效的医疗与科研支持。
上海市第六人民医院信息处处长俞磊曾表示,通过医院高质量的医疗数据对大模型进行训练和微调,形成专病/专科大模型,这将有助于提升医疗服务质量,优化医疗流程,并加强科研创新。
俞磊还总结了医院选择大模型需要符合的几个特性,**即高度专业化、可定制优化、可私有化部署、与业务系统深度融合。**此外,成本也是影响医院选择大模型部署的重要因素。
由此看来,那些基于能够处理多模态信息的大模型打造的专业化、易于实施的“小模型”更有可能在医院环境中得到实际应用。这些“小模型”专注于解决特定问题,运行时环境相对封闭,对计算资源的需求也更为低廉,因此更具备在医院环境中落地的潜力。
目前,已有多家企业推出了专病/专科大模型及其相关产品。
在今年的CMEF(中国国际医疗器械博览会)上,联影智能发布名为“uAI影智大模型”的垂直医疗领域大模型基座,其显著特点在于能够全面支持文本、影像以及混合模态产品的开发,目前已开发百余款AI应用和模型。
与此同时,神州医疗依托多模态大数据,自主研发文本、影像、病理、精准4大模态基座模型支持的医疗领域多模态大模型。据了解,神州医疗已与南方医科大学南方医院共建国内首个大模型辅助的全院多模态数据治理系统,支持重庆大学附属肿瘤医院建设大模型支撑的智能肿瘤学知识库。
此外,清华计算机系创业团队打造的健康管理服务平台“医者AI”,通过训练专病、专家等数据,打造肺结节、糖尿病、皮肤病、血液病、三高等各类专项大模型,为大众提供个性化的健康管理服务。
尝试推测此类专病/专科大模型在医疗领域的演化路径,可以将其形象地描绘为一颗逐渐成长的大树,一个个专病/专科大模型就像是大树上逐渐成熟的果实,它们各具特色,蕴含了针对特定医疗问题的深厚知识,最终将形成一个枝繁叶茂的完整医疗诊疗生态。
在这样的生态中,每一个大模型都将发挥其独特的价值,为医生提供更为精准、高效的诊断与治疗支持,为患者带来更为个性化、精细化的医疗服务。这些大模型并不是独立运行,在业务驱动之下,一个多样化的、成体系医疗智能生态系统,或许正是大模型在医疗领域中应用的未来。
03
商业落地是否遥不可及
如上文所述,寻找高频的落地场景并非难事,然而,要发掘那些**既高频又具备潜在付费能力的场景,并实现投入与产出的均衡,**这无疑是当前所有AI企业面临的最大考验。
若以医院为付费主体,可以参考过往AI产品在医院中的落地历程。以影像类AI产品为例,辅助诊断类产品对临床证据的依赖性强,监管严格。这些产品一般要与医院进行合作,经过不断打磨与调整,以及与器审中心在审评审批阶段的数年磨合,方能获得三类证书。然而,这仅仅是走向商业化的第一步。
据医疗行业资深人士分析,若企业选择三级医院作为目标市场,影像AI企业在此路径上需先获得证书,再争取各省市的物价审批,并寻求患者自费购买的可能性。经过1至2年的运行后,这些产品才有可能被纳入医保支付体系。粗略计算,企业从取证到实现盈利,往往需要经历一个4至5年的漫长周期。
而大模型产品的商业化落地之路,无疑将面对更高的成本投入和更为严苛的审批条件,这使得其实现商业化的道路更加崎岖。
不仅如此,目前大模型产品还面临着准确性的挑战。为确保模型的准确性,不仅要确保电子健康记录、医学文献数据库和临床试验数据等关键数据来源的可靠性和合规性,还需投入大量精力去剔除其中的错误和冗余信息,从而确保数据的一致性和准确性。
除了高质量数据供给难题,大模型还面临着AI固有的“黑箱”问题,以及伦理风险和安全隐忧等挑战。这些问题使得大模型在医疗领域的应用更加复杂和敏感,进一步增加了其落地过程的难度。
如果将支付方转变为器械、保险类等公司,通过与此类企业合作探索大模型的智能化应用,可以将其拓展到更多领域,如医疗器械的智能化升级和医疗智能理赔等,这种合作为大模型产品提供更多元化的应用场景和商业模式,有助于推动其商业化进程。
去年9月,腾讯健康就与迈瑞医疗达成战略合作,双方将共同探索医疗大模型的智能化应用,把AI+大模型拓展到应用医学领域,如重症、急诊、麻醉科等科室。
此外,科研场景似乎是目前大模型最有可能实现规模化落地的领域。
如深睿医疗推出的基于AI大模型的智能多模态科研平台,提出医疗图像通用分割模型,能够处理多模态医疗数据,实现器官、病灶的快速分割,可应用于肿瘤、心血管、神经系统、呼吸系统、消化系统、肌骨等多病种的智能精准化研究。
医渡科技、神州医疗等企业发布的大模型训推一体机, “开箱即用”的产品特性可以在企业内进行本地化部署,在配合医院进行相关课题或项目的研究时,大模型训推一体机能够帮助医生以低成本方式,快速执行一些研究,提升医学科研效率。
当前,**大模型是否应该开源,**也是业界热议的话题。若有医院或企业选择将专科/专病等大模型进行开源,必将为具备研发实力的其他医疗机构铺设一条自主研发大模型产品的道路。医院能够利用自身的数据资源进行模型训练,这几乎意味着每个医院都将拥有学科专家的智慧支持。
因此,对于企业而言,审时度势、灵活应变至关重要。在不同的阶段和商业场景下,选择最适合的进化路线至关重要。值得一提的是,大模型在应用过程中尚存一些使用门槛,这恰恰为相关服务的落地提供了契机,蕴含着潜在的产业机会。
04
结语
尽管大模型在医疗行业的运用与发展之路尚存技术、安全和伦理等多重挑战,但其为临床医疗、慢性病管理、药物研发、医学教育和行政管理等领域带来的巨大潜力不容忽视。
将大模型深度融入医疗实践的真实场景之中,是确保其效能最大化的关键。从开发、训练、测试到实际应用,每一个环节都必须与医疗实践的需求紧密相连,确保模型能在实际环境中发挥最佳效用。
在这样的背景下,专业、可定制、轻量化的专病/专科大模型或许成为当前医疗AI企业值得考虑的发展方向。 通过针对特定医疗场景构建模型,能够更精确地满足医疗实践的需求。同时,这种轻量化的模型设计也能有效降低企业的投入成本,增强商业模式的可持续性。
“AI时代,万物皆可重塑。”企业正站在这一时代的门槛上,面对无限可能,积极探寻并把握产业中的每一个机遇, 才能在未来立于不败之地。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。