不止于大：大模型如何颠覆医疗？

前言

ChatGPT 4.0对于大模型的解释

近年，AI大模型在知识、数据、算法和算力等关键要素的共同推动下，呈现爆发式增长，增强了人工智能的泛化性、通用性，开启了人工智能发展新范式。

同时大模型正逐渐变成医疗保健领域的一股不可阻挡的力量。2023年，Google推出的Med-PALM 2已经能够做到输入一幅X光片，自动来对患者的病情进行分析和诊断。并且，一个模型能够覆盖14个应用场景，平均准确率高达92.6%。

“临床专家”Med-PALM 2

甚至在回答临床问题中，Med-PaLM 2在临床实用性方面优于医生，包括事实性、医学逻辑推理能力和风险可能性。可以说，大模型的更新将AI从医学生提升到了高年资医生水平。

大模型MedQA表现大幅提升

“不是我们选择了开发大模型，而是没有选择”，一位资深的AI应用专家表示，表现的跃升一方面代表产品迎来落地的机会，另一方面，传统的深度学习AI一定会被大模型取代。现在正是拐点，不拥抱大模型，就意味着淘汰。

01

小模型：多年以来痛点显著，发展受限

自然语言小模型

1)小模型理解能力较弱， 难以准确解析复杂多变的医疗术语。医疗文献、报告和病例中通常包含大量的专业术语、详细的病症描述以及复杂的治疗方案。例如，在一份描述心脏病的电子病历中，可能包含诸如“心绞痛”、“心肌梗死”、“心功能不全”等专业术语，以及关于心脏病理生理过程的详细描述。对于小模型来说，要准确理解这些术语和描述，并将其与具体的病症和治疗方案联系起来，是一项极具挑战性的任务。

2)小模型的文本生成能力有限， 难以满足使用者对详细、准确和逻辑清晰的要求。在医疗领域，电子病历需要详细记录病人的症状、诊断结果、治疗方案等信息，以便医生能够全面了解病人的病情并制定恰当的治疗计划。然而，小模型在生成长文本时，大多会出现逻辑不连贯、表达不清晰的问题，导致病历的可读性和专业性降低。同时，小模型在与患者沟通、提供健康教育材料方面也存在困难，难以满足患者对于清晰、易懂信息的需求。

3)小模型的泛化能力和更新效率令人堪忧。 医疗领域的知识更新速度非常快，但小模型在适应新知识时却显得力不从心。每当有新的医疗研究、新的治疗方案或新的药物出现时，小模型就需要大量的数据和计算资源来进行重新训练和优化，以保持其性能和准确性。

计算机视觉小模型

相较于语言小模型，计算机视觉小模型的兴起较晚。直至2010年代初期，计算机视觉小模型，例如AlexNet、VGGNet等深度卷积神经网络模型，才在医疗影像识别与自动分析方向得到应用，后又拓展到药物发现领域。然而，小模型的实际使用中也存在一些显著的痛点：

1. **首当其冲的是数据获取和人工标注极端困难。**传统的MIL-CNN（多示例学习+卷积神经网络）架构要求有足够的标记数据集进行训练。然而，医学领域的数据往往涉及严格的隐私保护和伦理规范，使得数据收集尤为困难。另一方面，即便能够收集到数据，其标注工作也需要资深医学专家的介入，标注过程既耗时又昂贵，对于大量的医学图像数据来说，几乎是一项不可能完成的任务。因此，尽管AI在医学图像分析领域的潜力巨大，但数据获取与标注问题是其主要发展障碍。

2. 受限于模型的规模和算法深度，小模型的准确性和稳定性常常不尽如人意。医学图像的复杂性、噪声和干扰要求算法必须具备高度的精确性和鲁棒性。但小模型往往难以达到这样的标准，特别是在标注成本高昂、训练数据有限的情况下，其性能更是大打折扣。

02

大模型：不只是大

2017年Transformer架构的引入打破了这一僵局，大模型应运而生，从根本上解决了传统语言小模型在该领域所面临的诸多问题。

起初，Transformer应用于语言方向，通过深层次架构，对海量的医疗文献和数据进行学习，使其具备强大的语言理解能力。2020年，Google团队提出ViT架构，尽管这不是第一个将Transformer应用在视觉任务的案例，但是因为其模型“简单”且效果好，可扩展性强，成为了transformer在CV领域应用的里程碑，也引爆了后续相关研究与应用落地。

Transformer工作机制

在大模型上出现了诸多小模型完全不具备的能力，即所谓的涌现能力：

优秀的上下文学习能力

Transformer特有的自注意力机制允许模型在处理每个输入位置时都可以关注到其他位置的信息，并动态地调整不同位置的重要性。随后，通过计算每个位置与其他位置的相关性，自注意力机制可以有效地捕捉序列中的关系，使得大模型能够准确地捕捉和解析各种复杂的医疗表述与图像呈现。

巨大的知识容量和高效的更新机制

不同于小模型每个任务需要建立足够的标记数据集，大模型仅需少量数据，模型能够自主地从未标注的数据中学习，不断提升自身的性能。

强大的泛化能力

传统模型在特定任务上训练，泛化能力差。医疗大模型通过预训练和微调，获得广泛医学知识，适应具体任务，提高泛化和知识迁移能力。

复杂的推理能力

GPT最初的prompt方式是给定输入和输出案例，让模型完成推理过程。后续，新的提示方法让模型在完成任务的过程中拥有更多的中间过程，例如思维链、寄存器等等，能够显著提高模型的下游任务的效果。

因此，大模型产品呈现出多任务、高复杂性、高准确性、快速迭代的特点。

03

医疗+大模型：会改变什么

至今国内外已涌现出200多款面向生物科学和医疗健康的大模型产品，覆盖场景包括病理、医学影像、药物发现、电子病历等。

大模型+病理诊断

全球病理诊断面临着病理医师不足的难题，在中国尤甚。据统计，我国病理医生缺口在十万以上，2020年我国每十万人口中病理医师数量约1.4人，与欧美、日本差距较大。

另一方面，肿瘤异质性导致病理图像极为多样，病理诊断涉及多癌种，每个突变的癌细胞千奇百怪，这些细胞的集合就更难判读。因此，过往的小模型产品仅限于少量癌种，且准确率有限。

应用案例：Paige AI

Paige.AI 总部位于美国纽约，于2018年从纪念斯隆凯特琳癌症中心（MSK）转化而来。Paige是第一家获得FDA批准的数字病理学临床AI应用软件的公司，基于传统的深度学习模型，开发了前列腺癌和乳腺癌诊断产品。

2023年9月， Paige宣布与微软合作，并获得其战略投资，建立世界上最大的基于图像的AI大模型，用于识别癌症。2024年初，Virchow病理大模型应运而生，准确率大幅提升。其采用目前参数量最高的ViT "Huge"架构(ViT-H/14)与世界首个基于图像的自监督学习算法Dinov2。

Paige.AI模型迭代

相比于过去7年发布2款细分癌种产品， Virchow大模型在17种癌症类型中均实现最佳的癌症检测性能，并在罕见癌症中保持稳定的性能。同时，Virchow将应用场景拓展到免疫组化诊断方向，在三种生物标记物中均表现出一贯的高性能。

病理大模型产品性能提升

大模型+电子病历

大型语言模型（LLM）的引入，无疑是人工智能在电子病历（EHR）领域应用的重大突破。在电子病历的复杂语境中，LLM能够游刃有余地处理专业医学术语和患者的详细叙述，精准地提取关键信息，并生成易于理解的摘要。

应用案例：Abridge

Abridge是一家医疗对话人工智能创业公司，总部位于美国宾夕法尼亚州，致力于提供基于音频的系统来记录和总结医疗对话。2024年2月24日，Abridge宣布获得1.5亿美元的B+轮投资，成为生成式人工智能在医疗领域最大的融资之一。

Abridge已开发出一套专用的大型语言模型，其企业级技术通过与EMR（电子病历系统）深度整合，实现了患者与医生对话的实时结构化临床笔记转化。目前，Abridge是唯一一家能够将人工智能生成的摘要精准映射到基本事实的公司，极大地提升了医疗服务提供者对输出结果的信任度和验证效率。

Abridge数据来自超150万次的医疗咨询数据和医疗对话AI论文，已经助力超2,000名临床医生实践应用，覆盖超20万名患者。

大模型+药物发现

药物发现的机制极度复杂，尚无可复制的体系，找到好的药物堪称“玄学”。

大模型相较于传统技术，能够更深入地捕捉和解析复杂的生物关系和模式，为蛋白结构和相互作用提供更加准确的预测，有助于科研人员更精确地定位药物作用靶点，提升药物研发的成功率。

此外，大模型在分子设计方面展现出了巨大的创新潜力。它利用强大的计算和泛化能力，能够生成自然界中不存在的新颖蛋白结构，为治疗干预提供了全新的可能性。RFdiffusion模型是蛋白质设计领域应用的杰出典范。该模型巧妙地运用了基于扩散的生成性AI技术，在受控的模拟环境中模拟自然蛋白质的折叠过程。在初始阶段，模型会先引入噪声以打乱结构，随后通过迭代过程逐步优化表征，消除噪声并重建蛋白质结构或设计出全新变体。

应用案例：Xaira Therapeutics

2024年4月23日，由多家知名投资机构和科学家支持的Xaira Therapeutics宣布成立，旨在用人工智能赋能药物发现，并承诺投入超过 10 亿美元的资金来支持其使命。这不仅是AI制药最大的一笔投资，也是在今年以来生物医药领域最大一笔投资。

Xaira Therapeutics正借助AI大模型颠覆性地改变药物发现和开发流程，特别是在蛋白质和抗体设计方面。他们整合了顶尖的AI技术，尤其是华盛顿大学蛋白质设计研究所的RFdiffusion和RFantibody模型，这些模型对于设计新型蛋白质结构和功能性抗体至关重要，使得Xaira能够开发出具有潜在治疗复杂疾病价值的新型治疗分子。为了进一步提高预测和创建药物候选的效率，Xaira不断结合实验室和临床实验数据来改进其模型。此外，为了更好地理解生物学机制并寻找新的药物靶点，Xaira还从基因测序巨头Illumina和生物技术初创公司Interline Therapeutics引进了专注于蛋白质组学研究的团队和技术。

Xaira Therapeutics得到了ARCH Venture Partners、Foresite Labs、F-Prime、NEA、红杉资本、Lux Capital、Lightspeed Venture Partners、Menlo Ventures、Two Sigma Ventures、帕克癌症免疫治疗研究所（PICI）、拜耳等多家顶级投资机构加持。

04

结语

AI就是新时代的“坚船利炮”，其开发具备极强的战略意义。从美国限制AI算力出口中国，到拟限制开源 AI 大模型出口，新的全球战场已经开启。在医疗等各细分领域，拥抱大模型， 或许已经是唯一的选择。

那么，如何学习大模型 AGI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

-END-

---

👉AGI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉AGI大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉AGI大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓