【AI大模型】企业不需要大模型：基于国产算力落地企业级AI的实践与方法论

本文链接：https://blog.csdn.net/YoungOne2333/article/details/143877193

前言

AI技术正以前所未有的速度发展。AI不仅是技术创新的象征，更是驱动战略转型的核心力量。AI为企来客户带来了深度优化的可能，不仅提升效率、降低成本，还帮助企业挖掘新的业务价值。特别是AI大模型的崛起，彻底改变了业务模式和技术应用的深层逻辑。政府和企业若要在AI领域取得优势，需要利用AI重新定义业务模式。例如，通过AI推动个性化服务，优化运营管理流程，甚至变革客户交互方式。

AI大模型的广泛应用也对基础设施提出了新的要求,传统的计算范式是CPU+软件平台构成的计算平台构成，计算中心。

随着AI大模型的应用推广，传统计算平台开始向以GPU和AI大模型为核心的智能计算平台或“企业大脑”转型。经常遇到些朋友问为什么AI模型要使用GPU？

企业不需要大模型

企业级客户对AI大模型的需求与C端不同，需要满足复杂的管理和业务流程需求，企业需要的系统化的AI解决方案，而不是一个AI聊天机器人。

私有化部署让企业的核心数据更稳固、更安全

数据安全对于很多企业来说至关重要。诸如国外的一些公司已禁止员工在办公环境中使用ChatGPT等在线AI工具办公，以避免企业知识产权或敏感信息泄露。对于政府和央国企来说，私有化部署的AI大模型解决方案非常重要，以确保安全合规。在信创或更高安全的需求的场景，为了实现整体安全可控，更需要国产算力+模型来保障。

企业级AI落地不仅仅是简单技术对接实施

我的团队在基于国产算力的AI大模型应用落地过程中，涉及到场景规划、工程实施及与各业务系统的深度集成。我们面临业务适配、数据治理、技术适配及生态协同的4大挑战。

落地的过程中我们发现，AI大模型的选型需要考虑参数规模、数据质量及算力规划要求，而AI推理的性价比对许多企业级客户来说是重要的考量，在实际测试的过程事实证明参数规模越大，AI大模型的推理能力越强。但是一般情况下，**一般情况下至少13b 或以上的参数规模的模型质量要高一些。**但大多企业客户一般无法像Open AI、互联网巨头那样，部署千亿或万亿参数级模型，并为此投资几十亿甚至上百亿建设算力网络来支撑这样在大语言模型训练和推理。成本、ROI是企业迈过去的坎。

因我们根据客户需求，制定了模型选择策略，并根据模型的的不同，结合不同的工程方法来弥补私有化模型参数规模不太高的情况下带来的推理能力不足的问题，满足客户的合理预期和ROI：

大型模型（70B及以上参数）：适合RAG方法以避免微调过程中丢失对话、翻译和分析等能力。RAG还可以增强外部数据库支持。
中型模型：RAG和微调可以并用，根据需求灵活调整。
小型模型：由于其通用能力有限，通过微调对特定领域的数据进行训练，使之专注于行业知识。

算力成本在AI应用中至关重要：模型训练和推理的需求大不相同。模型训练耗费算力资源大，成本高，技术门槛也高，适合少数需要专有模型需求的企业，而推理适用于大多数政企客户，并可以通过架构优化、量化剪枝等手段降低计算需求。推理虽频次高但算力要求相对较低，约为模型训练算力要求的1/8，如果考虑越性价比，科学的模型选择和工程化手段是必备的功课。

国产化算力的非CUDA适配是落政企私有化大模型的重大挑战之一。当前主要的AI大模型通常基于CUDA框架，因此需要将模型适配到国产算力非CUDA环境比如华为的CANN。为此，我们实践总结出几点适配经验：

1.AI技术团队需对深度学习框架有一定认知，比如pytorch。
2.首先学习和使用国产GPU厂商的SDK，避免直接从底层适配，否则您将面临很高的学习和开发成本。
3.保持与GPU厂商及与模型生态厂商和技术团队保持协同，目前很多国产大模型的都Transformer架构，而很多政企客户的一些深度学习模型是非Transformer架构模型。上流中流厂商的支持与配合至关重要。