2023年,Google推出的Med-PALM 2已经能够做到输入一幅X光片,自动来对患者的病情进行分析和诊断。并且,一个模型能够覆盖14个应用场景,平均准确率高达92.6%。
“临床专家”Med-PALM 2
甚至在回答临床问题中,Med-PaLM 2在临床实用性方面优于医生,包括事实性、医学逻辑推理能力和风险可能性。可以说,大模型的更新将AI从医学生提升到了高年资医生水平。
大模型MedQA表现大幅提升
“不是我们选择了开发大模型,而是没有选择”,一位资深的AI应用专家表示,表现的跃升一方面代表产品迎来落地的机会,另一方面,传统的深度学习AI一定会被大模型取代。现在正是拐点,不拥抱大模型,就意味着淘汰。
现在大模型这市场,不能像个渣男,啥都想要,又啥都不成。测算这个市场容量测算那个市场容量,大厂做的不敢做小厂做的不屑做,在鸡生蛋蛋生鸡的逻辑里自己闭环。
弱水三千,只取一瓢。目前病历生成这个领域,是用户需求和客户需求完美的重叠部分。
自2011年,国家卫健委推动电子病历系统功能应用水平分级评价以来,医生可以通过电脑给病患记录病历、预约化验、查看诊断结果,他们不再需要手写病历,也能在系统上查看需要的信息。
理想很丰满,现实却很骨感。以电子病历为代表的的数字化技术并没有如预期般提高医护的工作效率,工作反而更繁重了。
部分医生吐槽:“上班60%的时间用来写病历,看电脑多过看病人。”
如果让医护人员评选“比问诊还累、比和医患沟通还费劲”的工作,病历书写大概率独占鳌头。
以电子病历为核心的信息化建设轰轰烈烈开展了几年,各种信息化手段层层“打补丁”,从CDSS到单病种质控到病历质控,再到数据上报,但几乎做的都是“后处理”,很难做到“预处理”。
生成式AI在医疗领域的应用,有潜力改变这一窘境。
试想一下,如果有一套工具,能够在医生对患者进行诊疗时全程录音监控并提取对话摘要,随即自动生成书面报告,像一位训练有素的医疗抄录员。如果在病历生成前内置规则,提前做好规范化,是不是就能把医生从病历中解放出来,并且一劳永逸的解决数据质量的问题。那么每位医生每天花费在病历报告上的时候至少能减少两小时以上。而且生成的报告又是卫健委、医保、疾控各个部门要求的,那么是不是睡觉都会笑醒。
从纸质病历到电子病历是个时代的跨越,从电子病历到AI生成病历又将是一个时代的跨越。
如果还懵逼,那再看看国外的投融资情况,看看资金流入大模型的哪个应用场景:
接下来以一则案例看一看
大模型+电子病历应用案例:Abridge
大型语言模型(LLM)的引入,无疑是人工智能在电子病历(EHR)领域应用的重大突破。在电子病历的复杂语境中,LLM能够游刃有余地处理专业医学术语和患者的详细叙述,精准地提取关键信息,并生成易于理解的摘要。
世界顶尖医院UPMC(匹兹堡大学医学中心)投资的Abridge公司,是一家医疗对话人工智能创业公司,总部位于美国宾夕法尼亚州,致力于提供基于音频的系统来记录和总结医疗对话。2024年2月24日,Abridge宣布获得1.5亿美元的B+轮投资,成为生成式人工智能在医疗领域最大的融资之一。
作为临床文档生成人工智能领域的领导者,能为医院提供一种生成式AI小插件,能基于音频的系统来记录和总结医疗对话。其企业级技术通过与EMR(电子病历系统)深度整合,实现了患者与医生对话的实时结构化临床笔记转化。目前,Abridge是唯一一家能够将人工智能生成的摘要精准映射到基本事实的公司,极大地提升了医疗服务提供者对输出结果的信任度和验证效率。
Abridge基于大模型的病历生成插件已经在美国堪萨斯大学卫生系统得到了大规模应用。
截至目前已有超过2000名医生,20万名患者参与使用这一产品,这也被认为是当前生成式AI在医疗系统中最大规模的应用之一。
2024年4月,医学出版巨头威科医疗(Wolters Kluwer Health)发布了一篇关于“医疗保健中的生成式人工智能(GenAI)”的调查报告:
这份调查涵盖了100名在大型医院或卫生系统中工作并使用GenAI的美国医生,结果显示广泛医护群体对这项新技术的态度发生了大逆转。
当被问及最想让GenAI应用于哪些临床工作时:
五分之四(81%)的医生表示,GenAI将显著改善医患沟通的效率;超过一半的医生相信GenAI将为他们节省20%或更多的时间。
另一个极具潜力的领域是病历等书面资料的整理:
超过三分之二(68%)的受访者表示,通过GenAI快速搜索医学文献可以节省时间;
五分之三(59%)的受访者表示,GenAI高效汇总电子健康记录(EHR)中的患者数据具有重要意义。
发布本次报告的威科医疗就正在布局这一领域,他们正在开发一款基于全球最大医学知识库UpToDate的GenAI,测试版已投入使用,下一步是将该平台扩展到100家美国医院。
这会是唯一一个专门由UpToDate可信内容提供支持的大型语言模型(LLM),能访问完整的UpToDate循证临床内容和超过25个医学专业的分级建议。
要知道医学知识库UpToDate已经被一百七十四多个国家的44,000多个医疗保健组织的200多万用户使用,在数据透明度和决策专业度上拥有优势。
目前该平台的测试版与已经上线的abridge和Microsoft nuance一起被全球顶级咨询机构弗若斯特沙利文评为GenAI在临床环境中的三大医疗保健技术先驱。
GenAI能够将医生从繁重的病历整理和医患沟通工作中解救出来,让他们能够专注于更复杂、更需要人类专业知识和灵活应对的工作。
所以,模型无分大小,能解决真问题的就是好模型。
无常执黑,医护执白。黑落十三夺魂魄,白定十二守阳元。汹汹瘟霾黔技尽,白余一子妙回春。
“救死扶伤,治病救人”
让我们的医生回归诊疗核心工作中来。无数据上报之乱耳,无医保入组之劳形,踏踏实实,把病看好。
让医疗更纯粹一些。
这一瓢,当饮否?
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。