智能医疗新时代：大模型与生成式AI驱动的精准诊疗革命

背景介绍

2024年1月24日，非凡资本联合诸多合作伙伴在上海举行了“2024 AIGC应用发展高峰论坛”，近千名AI相关从业者参与了本次活动。本期内容整理自嘉宾主题演讲环节。

全诊通创始人兼CEO薛翀博士

医者AI联合创始人兼CFO秦飞

悦米科技创始人兼CEO乔明辉

横方健康创始人 薛元新

主持人：非凡资本投资顾问 吴申亮

圆桌论坛

全诊通创始人分享丨AI在医疗中的新应用：从诊前到诊中

Q：在医疗领域，AI在诊中和诊前环节中的应用有哪些成功案例或场景值得分享？

全诊通创始人兼CEO 薛翀博士

作为一名西医医生，我认为AI与医学一直紧密相连。自从AI的概念在1953年的达特茅斯会议上提出以来，AI就一直在医疗领域扮演着重要角色。在医疗影像诊断和医疗器械方面，AI应用广泛。经典AI时代过后，我们进入了大模型时代，从去年开始，深度学习和AI的理念重新受到关注，这意味着我们有机会重新审视和应用这些技术。

我回国后一直想做医生助理，因为我发现美国有医生助理，而中国没有。助理在美国可以处理许多医生外围工作，如病历管理和随访等。因此我一直在思考，中国是否可以利用AI解决这些问题。过去8年时间，我们公司一直专注于开发一款利用AI帮助医生写病历的产品。随着大模型时代的来临，我们及时采用了这一技术，重新打造了我们的AI产品。

医疗领域通常将医疗过程分为诊前、诊中和诊后。诊前包括挂号和预约等事项，诊中则涉及到诊疗决策过程中的工作，诊后则是指随访等工作。院外的病人管理也是一个重要的概念。在这些分类中，我们主要专注于诊疗过程中的AI辅助工作。

在挂号和预约等环节，全诊通致力于改善病人与医院之间的连接和匹配过程。我们开发了一款AI产品，可以在病人挂号后自动弹出，协助医院与病人收集病历资料，并生成病例。这样，当病人来就诊时，医生可以提前查看病历资料，从而有效提高医生工作效率，尤其是在诊中阶段。

在医疗器械设备领域，经典人工智能技术，包括算法和模型，一直是CT、磁共振等关键技术的核心。目前，我们的AI产品在影像诊断领域取得了更大的进展，例如利用深度学习技术识别肺结节和分析超声影像。在文本处理方面，随着大型模型时代的到来，我们也在逐渐加强对这一领域的探索和应用。在临床决策辅助方面，我们过去依赖知识图谱和规则进行决策支持，而现在，我们越来越多地采用通用AI技术，以解决医院外环节的问题。

医者AI联合创始人分享丨院外医疗市场：AI助力健康管理

Q：除了院内市场，院外市场也是一个重要的领域。关于目前AI在院外市场的具体应用，想请问秦总有什么看法？

医者AI联合创始人兼CFO 秦飞

我之前主要是从事投资工作，初始投资母基金，后来主要投资方向是AI和新能源。现在医者AI的团队主要来自清华，专注于院外医疗、消费医疗和健康管理领域。我们采用MOE技术架构，这在欧洲的MR等地已经得到了认可。我们在2022年9月开始尝试混合专家模型的MOE架构，尝试微调大模型和MOE架构。结果发现，在健康管理领域，MOE架构的效果远远超过大模型。

在院外医疗和消费医疗领域，我们专注于几个关键场景，首先是体检服务，尤其是在民营体检市场中，我们的股东大健康集团处于行业领先地位。我们的工作重心从体检着手，特别关注肺结节的筛查工作。目前，肺结节的检出率已达到54.3%，这意味着大约每两个人中就有一人会被检测出肺结节。相较于疫情前的约30%的比例，这一数字在疫情期间有了显著提升。鉴于肺癌是中国最普遍的致死性疾病之一，我们的策略是通过早期识别肺结节来减少潜在的患者数量。

在医院的实际诊疗中，如果肺结节直径小于8毫米，通常不需要立即治疗。但我们通过AI模型分析肺结节的成因，并模拟专家的诊断思路，为客户提供个性化的治疗方案。数据显示，有10%的患者在未经治疗的情况下，肺结节能够自行缩小。传统医院通常会开具消炎药物，这在大约30%的患者中有效，但通过我们的定制化治疗方案，这一比例可以提高至70%。因此，我们致力于通过个性化的治疗方案，有效管理和干预体检中发现的肺结节患者，防止病情恶化至需要手术或穿刺活检的程度。

因此，我们也抓住了另一个方向，即保险领域。保险的核心是家庭医生服务，主要针对中高端客户。目前，家庭医生的投诉率仍然较高。我们通过复制一个模型，涵盖了从营养师到健康管理师，再到专业的运动和康复方面的AI，以及一些专门针对特定病症的AI，来提升整体健康管理的效果。从数据指标上看，我们取得了比较大的提升。

此外，我们还在涉足牙医和糖尿病等方向，这些都是健康管理的一部分。以上这些是我们目前主要致力于发展的方向。

悦米科技创始人分享丨AI在医患管理中的服务效率优化

Q：除了患者的健康管理外，患者管理还涉及到运营和教育等方面，目前有很多AI正在尝试和应用。可以请乔总分享一下您关于这个问题的看法和经验吗？

悦米科技创始人兼CEO 乔明辉

我是悦米科技的创始人，也是医疗大健康领域的一个创业者。我们公司创立已有近十年时间，最初涉足医药领域，主要从事医药营销和患者管理的数字化工作。随着人工智能的兴起，我们不断迭代发展，目前更专注于个性化服务和AI技术的应用。

我们的服务面向患者，从私域运营到诊后管理，结合AI技术，探索能够提供哪些场景和关键节点的帮助。我想分享一个我们正在进行的项目，刚才有嘉宾提到肺结节，肺癌其实是我们中国的第一大癌种。而女性的第一大癌种是乳腺癌，乳腺癌的发病率是非常之高的。在乳腺癌之前的环节是乳腺结节，我们最近正在与丹纳赫集团合作，针对乳腺癌和乳腺结节开展一体化管理项目。在这个过程中涉及三个核心角色：患者、医生和在线医助。

我们在服务患者时，关注三个核心角色和多种场景，着眼于提供更好的患者体验。如何应对患者提出的琐碎、多样化和个性化问题呢？**我们采用了“82原则”，即80%的问题可以由AI回答，剩下的20%中的16%由在线医助回答，而最后的4%则需要专业医生的帮助。**通过这种分工，我们大大提高了效率，降低了人工成本。此外，乳腺结节和乳腺癌患者的需求是多样化的。无论是在体检还是筛查后，乳腺结节的分级都在变化，病程也在不断进展。因此，针对这些情况，我们的AI工具提供了知识宣教和解读的支持，以满足患者的需求。

第二个角色是医生，实际上，在门诊服务患者的过程中，医生有超过1/3的时间并没有专注于医学诊疗相关的工作，而是提供一些基础服务和情绪支持。这种资源错配是否存在更合适的场景和更有效率的人员和工具来完成呢？在服务医生方面，帮助医生减轻负担是非常重要的。在这方面，人工智能为我们提供了很多帮助。

第三个角色是在线客服，他们实际上分担了医生一部分的基础工作，同时将患者从线下引流到线上，并将公域引流到私域，以便进行更全面的患者管理，包括中间随访和不良反应管理等。在这个环节，我们深入整合了人工智能，以提高在线客服的效率。以前一个在线客服可能只能服务1,000名患者，而现在我们的在线客服可以服务3,000至5,000名患者，这样的效率提升是结合实际业务逐步实现的。

横方健康创始人分享丨数字化助力医患关系革新：智能科普与合规挑战

Q：关于患者管理这个板块，可以请薛总分享一下您的经验和看法吗？

横方健康创始人 薛元新

我是横方健康的创始人、CEO，我们是华为系公司，技术团队来自华为，最近与华为的盘古大模型签署了战略合作，旨在在医疗健康领域打造场景化应用。我们主要致力于智能科普项目，以患者教育为主要切入点。

在医院看病，患者常常只有几分钟时间和医生交流，这导致了医患关系紧张，患者没有获得感。我相信在座的每个人都曾是患者，都有类似的经历。患者在这短暂的时间内常常无法提出所有问题，导致许多问题被忽视，从而医患关系紧张。而医生资源带宽不足，一天要看数十名患者，且大部分问题都是重复的。医生无足够“带宽”解答每个人的问题，这导致了医疗行业的信息不对称。因此，我们希望通过数字化手段，将医生门诊中60%至70%的重复问题制作成科普资料，以缓解医患压力，提升医患关系。

科普也是很有学问的。传统的医学科普在互联网上已经很多，如腾讯医典、百度健康等，但用户真正缺乏的不是医学资源库，而是如何以自然语言的方式获取恰当精准的医学知识。主动学习医学知识常常是反人性的，学习过程中的图片和信息可能令人不适，学习量过多或者过少也会导致问题。因此，我们提出了“不早不晚、不多不少”的原则，即在合适的时间给予合适的知识量，让患者临时需要的时候有佛脚可抱。

人工智能可以根据患者的需求和状况进行对话，推送大模型生成的最适合的知识点，这些知识点是由具有高度信任的医生数字人形象提供，可以涵盖饮食注意事项、药物用法、康复锻炼等内容。我们横方健康与盘古大模型合作，目前已经在全国数千名医生中开展试用，取得了不错的效果。

Q：在医疗领域，AI的应用是否会面临类似的风险？或者说目前在该行业中面临着什么样的挑战呢？

横方健康创始人 薛元新

我们做医疗行业，比起很多行业有一个叫悲催的点，就是我们头上先天的有一紧箍咒，这个紧箍咒两个字就叫合规。合规性分为三个方面，首先是算法的合规性。大家都了解大模型的强大，但它在医疗领域的运用却可能带来一些问题，因为如果算法无法控制，产生幻觉，那就会出现严重的健康风险，患者无法判断信息的真实性。其次是数据和隐私的合规性，涉及到数据训练和运行过程中的隐私保护。

第三个是伦理合规性，大型公司在商业利益驱动下可能存在歧视或选择患者的倾向，这也需要合规考量。此外，医疗行业还面临着一些其他挑战，比如如果技术应用得太好用，可能会引起医生的反对，担心被替代。因此，我们需要解决一系列挑战，以确保医疗技术的合规性和可持续性。

悦米科技创始人分享丨AI在医疗行业的应用角度：医患关系与医药营销

Q：医疗行业的核心主体是药企和医院，当然医生也是医院的一部分。从这两个主体的角度来看，他们对AI的态度和期望是怎样的呢？乔总，您能分享一下吗？

悦米科技创始人兼CEO 乔明辉

悦米的业务模式主要是B2B，直接客户包括药械企业。首先，我们需要考虑医疗行业的特殊性。虽然我们可以看到AI在其他领域的智能客服、图文生成和视频生产等方面的机会，但在医疗行业，这个市场需求也是十分广阔的，因为在整个医疗领域，有一部分工作实际上是缺乏强烈行业属性的。在医疗行业的特殊性中，我们也会发现一些有趣的赛道，比如辅助诊断和更智能的健康管理等。这些方向结合了行业的属性，也在不断涌现出来，比如结合人工智能的新药研发，已经涌现出一些非常优秀的公司和独角兽企业。

在医疗行业，我们必须认识到其严肃性、专业性和合规性的要求。因此，当我们考虑满足药械企业和医院等客户的需求时，我们需要意识到他们对产品质量和安全性的要求更高。与快消品或娱乐产品相比，医疗行业的标准更加严格。我们经常听到食品级和药品级这两个概念，而药品级的标准要求显然更高，这是我们在考虑医疗行业需求时必须要考虑的一个因素。

医疗行业，与其他领域相比，数据孤岛效应更加明显，数据的割裂情况更为严重。因此，我们需要建立在更好的大数据基础之上，才能实现人工智能在医疗行业的广泛应用。细化到药企、器械公司和医院，结合营销领域的经验，有几个关键点需要考虑。

首先，人工智能必然会进一步替代销售代表的角色。在中国，一个医药代表服务的医生数量是1.3个，而在日本是5.2个，在美国更是达到12个。因此，人工智能作为生产力工具在这一领域具有巨大的潜力，可以降低成本、提高效率，进一步推动合规化进程。

第二，药企和医院医生的需求将改变传统的学术推广方式。传统学术推广主要围绕两个场景展开：会议和科室会。然而，随着人工智能技术的发展，我们需要重新思考如何通过新的方式满足医生的学术需求，以适应行业发展的变革。

另一个场景是一对一的拜访，在医疗行业，一对一的拜访场景必然会被人工智能深度改变。以拜访为例，我们知道拜访分为线下和线上两种方式。线上拜访以前常见的概念是虚拟代表，介于真人代表和人工智能之间，主要通过call center或系统化方式推送医学信息。

然而，通过人工智能技术，我们可以看到拜访方式有着巨大的优化空间。随着真人医药代表数量的减少，对其质量和能力的要求更为明确。他们需要更了解医学，也需要更了解人工智能和AI，以提高与医生的联系和影响医生的效率。这是一个重要的发展趋势。

另外，医疗反腐工作将持续到2026年，合规性将成为一把屠龙大刀，颠覆传统的商业化推广和学术推广模式。因此，在这一领域，人工智能在重构学术推广模式方面具有巨大需求。

最后一点，在专病领域，例如肺结节和乳腺结节，客户之间的协同合作可能比竞争更为重要。特别是在处理乳腺结节这样的情况下，部分患者可能会逐渐发展成为乳腺癌，这类似于一个漏斗效应。对于乳腺癌，我们知道它有不同的亚型，在这个过程中，人工智能和大数据可以促进协作和信息复用，而不仅仅是竞争。

因此，我们可以看到人工智能为医疗行业带来的变革，以满足药械企业和医院医生的需求。

医生视角下的AI应用：拥抱新技术的态度

Q：刚刚我们是从医院或者是药企的角度展开的讨论，从用户需求角度来说，薛博士您还有什么要补充的吗？

全诊通创始人兼CEO 薛翀博士

我个人从医生的角度，对AI的态度是积极的。优秀的医生通常倾向于拥抱新技术，因为他们的理念是用最简单的方法解决复杂的医疗问题，以最小的伤害来帮助患者。因此，如果AI能够实现这一点，医生们肯定会欢迎。

然而，从管理角度来看，医疗行业是一个多头管理严格封闭的行业，需要符合各种合规要求。管理层需要考虑商业模式的问题，例如是否让患者支付费用，这涉及到是否需要医疗器械证。

在中国，AI产品可以获取医疗器械证，但商业模式需与之匹配。如果AI产品不要求患者支付费用，而是由医院或作为基础设施提供，则可以规避一些合规问题。总的来说，医生的需求是拥抱新技术，尤其是那些对患者有益且副作用最小的技术。因此，最新最先进的技术往往会在大型医院率先使用。

医者AI创始人分享丨AI在医疗行业的发展展望：降低成本和个人健康孪生体

Q：想请秦总您分享一下对今年AI在医疗行业的发展和展望有哪些预期？

医者AI联合创始人兼CFO 秦飞

我认为，对于今年AI在医疗行业的发展和展望，我主要想从两个场景来谈一下。首先，当前AI和医疗结合已经成为一个明显的趋势，但AI，特别是大模型的推理成本实际上是非常高的。因此，降低成本是一个非常重要的趋势。那么，现在的降低成本的方向是如何实现的呢？

举个例子，我们公司正在开发一种叫做端模型的路径。端模型实际上是一种混合专家的技术架构，我们简称为MOE架构。MOE架构有一个基座底下的调度模型，在顶部插入了许多小模型。关键点在于，调度模型知道每个小模型的能力范围，并通过解决不同的任务来调度不同的小模型，以协同解决一个任务。这样实际上在训练成本上就有了显著的降低，因为相比于将相同数量的数据应用于一个拥有数百亿参数的大模型，一个有调度模型和多个小模型的端模型的训练成本是指数级下降的。

第二个点是我们会把一些小模型部署在端模型上，比如说在每个人的手机上，这样真正的推力就可以在端模型上进行。由于现在手机的算力足以支撑这样的端模型，这极大地降低了中心化服务器的成本，同时提高了效率和响应速度。这是大模型和医疗结合以降低成本的一个方向。

另一个方向是将AI与健康管理结合起来。我们认为个人的健康孪生体是一个比较重要的方向，也是我们正在努力落地的方向。在这方面，我们将从MOE中开发出每个人的小模型。在与AI对话的过程中，包括体检报告、就医结论以及日常智能设备的数据都将汇集到这个个人的小模型中，从而形成一个个人健康数字的孪生体。逐步地，这个孪生体将比个人本身更了解个人的健康状况。

举个例子，下次去某个医院看专项的问题的时候，实际上这个个人健康孪生体就起到了主动的作用。他会主动寻找这个领域最顶尖的医生，或者是最近的医院，帮你做这个预约，最后告诉你在这种情况下，你应该选择哪个地方，以及预约的效率如何？这样就节省了你自己主动搜索、询问和挂号的时间。

同时，这个个人健康数字孪生体还能够在一定程度上预测疾病。在这种情况下，健康管理就能够起到作用，通过预测可能发生的疾病，采取一些健康管理的方式来阻止疾病的发生。这也是我们认为可能成为另一个大方向和趋势的一个方向。

未来医疗领域的畅想：多模态大型模型和智能体的整合

Q：薛博士怎么看未来AI医疗发展趋势？

全诊通创始人兼CEO薛翀 博士

我觉得未来医疗领域可能会出现一些不确定的预测。医疗产品的复杂性与其他行业相似，涉及劳动型输出和决策性脑力输出。例如，内科医生在诊断过程中需要进行一系列的判断和决策，并通过医患交流获取信息。比尔盖茨和塞曼安等人认为，在医疗领域，大型模型将会出现大量的机会。因此，未来的大型模型可能重新处理医疗数据，例如识别肺结节，并生成相应的报告。这样的多模态组合能够提供更丰富的信息，帮助医生做出更准确的诊断和治疗决策。

医疗数据本身具有多模态性，未来的大型模型可以重新处理这些数据。另外，医疗器械中的一些软件也可以通过大型模型进行升级，甚至有人正在尝试使用大型模型来控制机器人，以实现感知、决策、学习和输出能力，这在医疗领域中是一种最优秀的做法。例如，治疗近视眼的莱斯克手术激光仪可以自行测量眼睛距离，并制定切除角膜的方案，然后让机器执行任务，这种自主体称为智能体。

未来，通过机器视觉和这些模型的结合，医疗领域将会出现各种各样的进步，让自动完成各项任务成为可能。 这是我大概能展望到的未来，但是实现的时间我不知道要多久。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】