大模型一体机，外行看热闹内行看门道

在2024中国算力大会会期间，当浪潮信息产品方案开发部总经理魏健在论坛上重磅发布“元脑企智EPAI一体机”后，台下就有电话打进垂询。

大模型一体机是当下非常火爆的产品，根据不完全统计，已有二三十家企业推出产品。当下，大模型应用现状与预期之间存在鸿沟，业内期望通过软硬一体的产品解决方案，弥补生态培育的时间差，加速企业应用步伐。

浪潮信息的一体机是将硬件与面向大模型开发和落地的EPAI软件平台做了深度整合，可一站式解决数据处理、模型微调、RAG搭建、模型部署、应用上线和系统运维等环节开发难题，为客户提供多元多模、简单易用、本地部署、安全可靠的大模型应用开发平台。

尤其在数据准备、微调这两个落地老大难问题，从技术、方法和细节上，进行了重点加持。一体机不仅是一个产品，更呈现了浪潮信息大模型落地的一套技术体系，由此也将大模型在行业开发和落地，推向更深层阶段。

1、为什么要有大模型一体机

“我们看到大模型应用现状与市场预期之间有一个巨大的鸿沟。”魏健开门见山说。

根据赛迪顾问的数据，生成式AI有着巨大的前景，预计到2035年，营收达到60亿美元。但现实中统计数据显示，2023年国内市场上对大模型公开招投标的项目不到200个，金额不到6亿元；2024年上半年，项目数达到486个，金额只有13亿元多一些。

特别是再观察这些项目的构成，2023年和今年上半年，硬件占比分别为60%和61%；软件从11%下降到5%；相关服务占比分别为17%和30%以上。“这个数据显示，用户不愿花钱买软件，厂商、服务方也没有赚到软件的钱。”魏健分析。

为什么会出现这样的鸿沟？一位人工智能生态人士告诉数智前线，硬件设计出来就可以开卖，但ISV能力、开发者生态不会马上起来。“这块懂的人才太少了，因此出现了时间差。”

ISV、开发者既要搞懂底层硬件，又要了解上层的行业需求，还要评估异构算力、各大模型的适配度，解决大模型“幻觉”问题，这个过程周期长，成本高，坑还不少…

怎么让企业，特别是传统企业，把大模型应用快速落地，是业界正着力解决的问题。为了弥合这样的差距，浪潮信息的措施之一是发布元脑企智EPAI一体机。

一体机将硬件与浪潮信息今年4月发布的元脑企智EPAI软件平台，进行了更深度的整合。

元脑企智EPAI软件平台是解决大模型的数据准备、微调、应用开发以及落地部署的问题。浪潮信息AI应用架构师Owen ZHU介绍，在元脑企智EPAI软件平台推出后，浪潮信息面向合作伙伴启动了种子计划，联合合作伙伴共同构建了面向场景的解决方案。数智前线获悉，目前已与金融、医疗等各行业伙伴，做了近百个场景的探索。

“在这样的基础上，合作伙伴与客户可借助一体机产品，去加速之前PoC项目落地。”Owen ZHU说。

2、客户群为什么强调这三类

这个大模型一体机的客户画像是什么？

首先要说明的是，在大模型落地中，不少企业客户期望整个数据的闭环都发生在私域之中，做到数据不出域。大模型一体机就是满足私域部署的产品，或是企业私有云的一部分。

一体机主要面向三类用户：制造、金融等行业客户，传统ISV以及SI集成商。

针对行业用户，以大型制造企业为例，由于做智能制造多年，有一些很好的数据、人才和技术积累，也有应用牵引趋势。比如一些市场起伏不定，供应链面临巨大挑战，企业对BI预测、判断的需求很重。一体机不仅提供了软件能力，硬件平台也做了SAP认证。

除了行业用户，为什么会强调传统ISV群体？因为这是大模型应用开发中的关键生态。魏健他们观察，传统ISV此前在大模型应用上一直处于观望状态，在2024年二季度左右开始投入。在这个过程中，他们要在算力、算法、框架等上获得能力加持。浪潮信息本身有上百号的博士团队，已与各行业主流ISV一起，如金融领域的中科软和南天信息，医疗领域的东软、东华、农联合作展开行业场景的探索开发。

而SI集成商当前面临的一大问题是，其服务通常不太能满足客户的要求，客户需要对大模型专门的调优能力，而市场上能提供这类服务的企业少之又少。浪潮信息从2021年做大模型“源”，并将“源”落地于内部客服等业务，积累了能力和经验，虽然还没有对外开放这一服务，但将技术沉淀到元脑企智EPAI软件平台中，如微调的参数配置细节，预设了20多种微调参数，做经验输出。

在过去三、四个月中，元脑企智EPAI一体机为这些客户提供了一站式大模型生产及应用全流程开发工具链，同时也开放接入伙伴的算法和模型能力，目的是加快行业落地。

3‍、面对微调，不再“懵圈”

大模型大体可分为预训练、微调、推理三个阶段。现在业内的关注点已走到了微调与推理，毕竟模型要进入行业，下沉到场景，就要靠微调。微调的重要性越来越凸显。

不过，微调非常复杂，技术门槛挺高，绝大部分大模型企业都还没有很好地掌握它。比如，微调技术已经有大几十种，对数据的要求不一样，训练过程的细节也都不一样。对于一个局外人，甚至绝大部分ISV来说，都处于“懵圈”状态。而且，微调技术迭代太快了，一两个星期不去看就可能落后。

为此，浪潮信息将自己用过的、一些主流的或能够起作用的方法都沉淀在一体机中。

微调是在多元多模的前提下，由于客户的行业属性不同，对算力的偏好不同，在每个具体场景下，最适合的模型也不同。元脑企智EPAI一体机支持了多元多模，如10多种业界主流大模型计算框架，内置7个主流基础大模型。

“用户的需求很多。”魏健观察，面对异构算力和多种大模型，他们需要软硬件评估体系，浪潮信息通过先行先试来创建。“成本肯定是最重要的考量了。”Owen ZHU补充说，在成本的考量之下，需要在成本和模型表现上做出评估。

微调采用了低代码可视化界面，内置了Lora、SFT等多种微调框架以及20多种优化参数。用户可依据具体业务需求和数据特性，选择最为合适的框架与技术，快速开发模型应用。

值得用户关注的是，元脑企智EPAI一体机提出了高效微调，就是集成了一些和当前算力相匹配的微调技术，确保微调能够跑起来。比如，传统上一个百亿参数模型，可能需要200G~300G的显存，才能微调；而三四百亿参数的模型，则至少需要四五台机器。“这个门槛有点过高了。”在元脑企智EPAI一体机中，对于百亿参数模型，用10G显存，就能把微调跑起来。

4‍‍、开箱即用，对落地难点有的放矢

拿到元脑企智EPAI一体机，用户现场只要供电、散热条件适合，可在两小时之内上线。

一体机有对话式UI、API接口和Agent智能体交互方式，满足用户不同的上手需求。

在大家想象中，一体机的开箱即用，就像手机使用App一样。但在实际落地场景中，一体机是大模型开发平台EPAI的开箱即用，因为最终的AI应用，需要结合客户需求和数据做开发优化。“尤其很多流程和系统在企业中已存在多年，这时是要把AI集成或嵌入到某个环节里。”Owen ZHU说，这需要ISV来做，周期可能在半年左右。

这个落地周期从数据准备、微调、RAG，到部署、上线和运维等复杂流程。特别是数据治理和模型微调，需要经验丰富的实施团队才能胜任。魏健举例，浪潮信息做招投标助手时，数据准备环节，售前团队做了三、四个月。

“我们自己有人、有设备、有各种研发团队，做这件事也遇到了各种困难。”魏健坦言，不能低估大模型落地过程中的难点。为此，在元脑企智EPAI一体机中，除了对微调做了强化外，在数据准备、RAG上也都做了重点加强。

“我们看到大模型落地最大的问题是数据不ready。”Owen ZHU说，这很难通过一个工具或一台设备去解决。它更需要ISV蹲在客户现场去解决。

“真正到了用户现场，他掏给你看，你才发现他的数据可能是一大堆图文混排，一大堆表，一大堆Word、PDF、Excel的混搭，也没怎么整理。”Owen ZHU说。

现在，用户可以结合一体机以及与浪潮信息的互相赋能，加快这个进程。

一体机中预置了上亿条基础知识数据以及自动化数据处理工具，支持10种以上企业常见的数据格式，并且以超过95%的抽取准确率，把这些数据转化为知识库以及可供模型进行微调的数据。而数据治理技术仍在更新迭代中。

互相赋能的作用也不小。伙伴懂行业，但不懂AI；浪潮信息在模型和模型使用上有独特的Know how。魏健回忆，一家伙伴要用“600个问答对”来微调，但根据浪潮信息的经验，这个数据量微调精度只有60%，“不可用”。最终，伙伴在他们建议下，准备了3000条问答对、5G的数据，微调精度达到80%以上。

那么，如何系统的去学习大模型LLM？

作为一名从业五年的资深大模型算法工程师，我经常会收到一些评论和私信，我是小白，学习大模型该从哪里入手呢？我自学没有方向怎么办？这个地方我不会啊。如果你也有类似的经历，一定要继续看下去！这些问题啊，也不是三言两语啊就能讲明白的。

所以我综合了大模型的所有知识点，给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢，我就曾放空大脑，以一个大模型小白的角度去重新解析它，采用基础知识和实战项目相结合的教学方式，历时3个月，终于完成了这样的课程，让你真正体会到什么是每一秒都在疯狂输出知识点。

由于篇幅有限，⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》，扫码获取~

👉大模型学习指南+路线汇总👈

我们这套大模型资料呢，会从基础篇、进阶篇和项目实战篇等三大方面来讲解。

👉①.基础篇👈

基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程，带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念，用最易懂的方式带你入门大模型。

👉②.进阶篇👈

接下来是进阶篇，你将掌握RAG、Agent、Langchain、大模型微调和私有化部署，学习如何构建外挂知识库并和自己的企业相结合，学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。

👉③.实战篇👈

实战篇会手把手带着大家练习企业级的落地项目（已脱敏），比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等，从而帮助大家更好的应对大模型时代的挑战。

👉④.福利篇👈

最后呢，会给大家一个小福利，课程视频中的所有素材，有搭建AI开发环境资料包，还有学习计划表，几十上百G素材、电子书和课件等等，只要你能想到的素材，我这里几乎都有。我已经全部上传到CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相信我，这套大模型系统教程将会是全网最齐全 最易懂的小白专用课！！