医疗AI更精准？顶刊新研究揭示大模型在CPU上的应用现状！_cpu 大模型 模型

当大模型踏入医疗行业与人类医生一较高下时，它能达到什么水平？

就在最近，医学顶刊BMJ便给出了这样一个结论：

在遵循公认的临床抑郁症治疗标准方面，先进大模型可能比医生要强！

从研究结果上来看，大语言模型（LLM）在轻度和重度抑郁症治疗方面，已经达到了公认的治疗标准。

不仅如此，它们还不会被患者的外在因素所影响（包括性别、社会阶层等等），这就比人类初级医生还要强上一点了。

这是否就意味着类LLM选手们现在可以“持证上岗”了呢？

非也，非也。

考虑到抑郁症治疗的持续性和患者病情的多样性，这项研究认为，真正的治疗过程还是需要人类医生来进行。

不过研究同样指出，LLM对于现阶段医疗可以起到辅助决策的帮助：

有可能加强初级卫生保健的决策，提高精神卫生服务的质量和公正性。

毕竟自从LLM热潮以来，包括谷歌在内的众多AI玩家，都致力于推动其在医学领域中的作用。

甚至像“男孩阅医无数，最后竟被AI成功诊出病因”这样的新闻也是频频被曝出。

那么问题来了——LLM在现实中的医疗领域，到底走到了哪一步？

【一一AGI大模型学习 所有资源获取处一一】

①人工智能/大模型学习路线

②AI产品经理入门指南

③大模型方向必读书籍PDF版

④超详细海量大模型实战项目

⑤LLM大模型系统学习教程

⑥640套-AI大模型报告合集

⑦从0-1入门大模型教程视频

⑧AGI大模型技术公开课名额

LLM，已然深扎医疗

一直以来，医疗行业都被视为AI落地的重要领域。

在深度学习浪潮刚刚兴起之时，深度学习三巨头之一Hinton就说出了名言：

5年内AI可以取代放射科医生。

尽管这个表达有些激进，但它揭露了一个事实，至少在科研层面，AI和医疗的结合是非常被看好的。

在过去一段时间以来，AI医疗场景不断开拓，比如利用CV算法识别病灶、检测心电图等。科技巨头们都紧跟趋势，如微软、谷歌、IBM等都在持续投入资金，推进AI医疗落地。

尤其在ChatGPT趋势到来以后，LLM更强的学习能力、更好的迁移能力以及更深的理解能力，都为AI医疗落地打开新局面。

而且这会是一个很确定的趋势，因为技术、应用落地和行业发展都准备好了。

首先技术方面，今年是大模型爆发的一年，目前国内已经形成“百模大战”格局。

诸多大模型厂商都主打To B路线，正在加速推动大模型在各个行业的应用。还有一些厂商直接推出面向医疗的行业大模型，比如谷歌推出的Med-PaLM 2就已经在诊所实测。

所以对于医疗领域而言，当下是不缺“模”的。

其次，大模型和医疗领域也天生非常契合。

在常见的问诊、病历生成、患者病史分析等场景，都需要医生基于历史信息进行整合总结、分析判断，这正是大模型的长项。

比如利用大模型的总结摘要能力，可以快速对多类数据进行总结并形成摘要，帮医生完成繁琐、重复性高的工作，提升效率。

并且实际落地上，只需以基座大模型为底，应用专业医疗数据训练，就能得到一个强大的医疗大模型，这能从根本上加速AI医疗落地。还能在一个系统中集成多个子模型，即可快速覆盖更多场景。

再来看行业发展方面，以国内情况为例，数字化医疗、AI医疗逐渐发展为一个独立赛道，玩家们利用数据分析、自然语言处理（NLP）、结构化数据等技术，已经成功将AI引入临床诊断决策、病例数据管理等。

如惠每科技开发的面向医院的核心应用Dr.Mayson。

简单理解，这是一个能优化医院看诊、决策、预警、管理等方面的智能应用，核心目标就是让医院数字化系统运行更加丝滑流畅，提高医生诊疗效率。

它主要融入了PDCA过程管理和CDSS（临床决策支持系统）。利用机器学习、深度学习、大数据挖掘等技术，可以智能识别分析病历文书、LIS/RIS报告等患者完整病历数据；为医院构建专门的医学知识库；给医生、医技、护士、管理方提供实时智能参考与建议。

在惠每科技最新发布的CDSS 3.0架构中，新一代AI大数据处理平台已集成了医疗大模型，并已经在某合作医院的病历生成等场景中获得了医生的认可。

综上，医疗大模型应用落地路径已经比较明确。但是落地的过程却没有想象中的那般容易。

医疗大模型落地，怎么解？

医疗大模型落地目前遇到的两大核心问题，都非常具有原生性：

• 为保证患者数据安全，医院数据仅能内网使用

• 当前GPU算力紧张，医院很难负担如此高昂的采购成本

这意味着，医疗大模型需要进行私有化部署，且需要寻找一条能够针对于提升大模型算力的“性价比”道路。

所以，AI加速成为了近来业界备受关注的领域。它直接关乎大模型落地的效率和成本，行业内各大厂商的加速方案也都受到热捧。

比如刚刚提到的惠每科技便携手英特尔，在基于第四代英特尔® 至强® 可扩展处理器的基础设施上，打造了量化和非量化两种大模型推理加速方案。

如何实现？

先来看量化部分，也就是通过降低模型精度来实现加速。

以FP32量化到INT8为例，它能让GPU或CPU适应更快、更低成本的8位张量来计算卷积和矩阵乘法，可有效提高计算吞吐量。还能减少模型数据搬运所需的时间和资源，这是数据从内存移动到计算单元的必然消耗，精度从32位降低到8位，能实现4倍减少量。

同时量化也能减少内存的使用，让模型需要更少的存储空间、参数更小、缓存利用率更高。

具体实现方案上，惠每科技引入了英特尔开发和开源的BigDL-LLM大语言模型加速库，其提供对各种低精度数据格式的支持与优化，同时配合不同型号和代际的英特尔处理器内置指令集（如英特尔® AVX-512_VNNI、英特尔® AMX等）在大模型应用中可以实现较优推理加速。

使用方面，此方案提供了便捷命令和编程接口两种方法，能方便预览量化后模型性能是否符合预期；另外在性能达标的情况下，凭借BigDL-LLM提供的HuggingFace API/Langchain API，用户可以轻松将优化性能整合到部署推理服务中去。

△BigDL-LLM为医疗大模型提供推理加速

对于非量化技术路径，英特尔也能提供键值（KV）缓存、算子融合的OpenVINO™ 加速方案。

KV缓存用于通过键值对的方式存储数据，能加速和优化数据访问。算子融合是将神经网络中多个连续运算符融合成一个运算符，从而减少内存访问、提高计算效率。

在惠每科技主要使用的开源基座大模型ChatGLM上，基于英特尔® OpenVINO™ 工具套件打造的非量化方案能利用零拷贝（Zero-Copy）视图传递预分配的KV所需的内存副本空间，避免数据的多次拷贝，实现KV缓存加速；

也能引入第四代英特尔® 至强® 可扩展处理器内置的英特尔® AMX指令集，帮助ChatGLM等医疗大模型加速BF16/INT8计算，实现算子融合，在保证精度的前提下提升运算效率、加速推理；

同时OpenVINO™ 工具套件提供了在HuggingFace上的Optimum接口，让优化效果可扩展到更多医疗大模型推理应用中。

总结来看，英特尔与惠每科技联手打造的两个大模型加速方案，成功帮助医疗机构用较低成本部署了高质量大语言模型，并且为更多准备“入局”的同行们提供了一套完整教程。

更关键的是，本次合作也让我们看到了一个事实：大模型训练推理并非唯GPU一种解法，CPU也可以作为大模型在行业落地的平台。

CPU，大模型的另一种解法

或许很多人一提到大模型，刻板印象往往会是“堆GPU”。

但事实上，英特尔在通过自身的实践在证明——CPU，亦是一种解法。

例如在我们耳熟能详且经典的OCR（光学字符识别）领域，在英特尔第四代至强® ️可扩展处理器的加持之下，响应延时指标在原有基础上足足提升达25倍！

△数据来源：英特尔合作伙伴

再比如媒体娱乐场景中，尤其在AMX加速引擎加持下，英特尔能帮助个性化内容推荐速度提升达6.3倍；零售行业里，能将视频分析速度提升高达2.3倍，还有像工业缺陷检测、医疗服务也都能从容应对。

即便是在生命科学和医药等前沿探索领域，CPU也已经成为不容忽视的存在：甚至在某些场景下的表现效果比GPU还要好。

而这些案例，也只是英特尔CPU在大模型时代表现中的一隅；更重要的应当是英特尔在过去一段时间和未来，所坚持的 “走法”：不仅重视硬件产品性能的提升，对于软件优化和打造生态系统同样付出大量心血，给用户提供全流程支持。

这也是为什么在今年的Intel Innovation 2023上，英特尔敢于喊出“AI everywhere（让AI无处不在）”的口号；为什么在12月中旬即将发布的新一代至强® 可扩展处理器、产品和加速方案，充斥着“AI”和“大模型”的味道。

总而言之，CPU巨头英特尔，在大模型时代之下确实在开辟着与众不同的路数。

至于新一代至强® 可扩展处理器和其他产品又会给大模型带来怎样的性能提高，也是值得期待一波的。

​

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
    - L1.4.1 知识大模型
    - L1.4.2 生产大模型
    - L1.4.3 模型工程方法论
    - L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
    - L2.1.1 OpenAI API接口
    - L2.1.2 Python接口接入
    - L2.1.3 BOT工具类框架
    - L2.1.4 代码示例
  • L2.2 Prompt框架
    - L2.2.1 什么是Prompt
    - L2.2.2 Prompt框架应用现状
    - L2.2.3 基于GPTAS的Prompt框架
    - L2.2.4 Prompt框架与Thought
    - L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
    - L2.3.1 流水线工程的概念
    - L2.3.2 流水线工程的优点
    - L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
    - L3.1.1 Agent模型框架的设计理念
    - L3.1.2 Agent模型框架的核心组件
    - L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
    - L3.2.1 MetaGPT的基本概念
    - L3.2.2 MetaGPT的工作原理
    - L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
    - L3.3.1 ChatGLM的特点
    - L3.3.2 ChatGLM的开发环境
    - L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
    - L3.4.1 LLAMA的特点
    - L3.4.2 LLAMA的开发环境
    - L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓