企业落地大模型的路径、场景与案例_企业大模型发展路径-CSDN博客

本文链接：https://blog.csdn.net/a2875254060/article/details/144220534

7月15日，爱分析主办的大模型网络研讨会成功举行，研讨会围绕企业大模型落地的能力边界、业务场景、实现路径及成功案例展开，其中爱分析联合创始人兼首席分析师张扬、合伙人兼首席分析师李喆在会上共同进行了 “中国市场大模型落地进展与趋势洞察” 的主题分享。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

基于近两个月超100家企业用户和厂商的调研成果，本次张扬和李喆的分享重点聚焦企业如何落地大模型，通过分析国产大模型市场进展和能力边界，阐述大模型在企业、科技厂商的落地现状，并重点分析了能源、银行、消费品零售、汽车等行业的落地案例和场景价值。

现将张扬和李喆的演讲实录整理后分享如下。

李喆：大家好，我是爱分析的合伙人兼首席分析师李喆。今天我们的整个主题分享会分为三部分，其中我会重点分享中国市场大模型进展与趋势，以及大模型在科技厂商落地进展，我的同事张扬会针对大模型在企业用户中的落地进展进行重点论述。

中国市场大模型进展与趋势

1.1 大模型定义

首先我们需要对大模型进行定义，目前来讲参数量级别达到十亿以上，且具备一定泛化能力的模型即可以被称为大模型，而大模型和小模型区别可以体现在多个方面。

在建模方法上，大模型核心是深度学习、自然语言处理及多模态技术，小模型则会主要用到机器学习、统计回归等技术；此外在参数量、应用场景等方面二者也有一定差异，可以参考图中所示。

我们重点聊聊在做模型训练和推理时大小模型的区别，这个跟企业用户实际应用有关。

训练层面，一方面，因为大模型已经进行了预训练，可以直接去做标注，所以目前来看大模型的冷启动成本会相对较低，小模型相比之下会偏高。另一方面，当涉及多个任务去做对齐时，大模型的成本反而会比较高，这也是小模型的其中一类优势。

推理层面，大模型的一大问题是响应速度慢，即便是目前的GPT3.5也存在反馈速度较慢的弊端，小模型反馈则要快出很多。

1.2 大模型能力边界

接下来我们聊聊大模型的能力边界，我们更多是从大模型在企业内部落地的视角出发，所以按照应用类型进行区分，可以分为生成类应用、决策类应用以及多模态应用。

现阶段企业内大模型还是以生成类应用为主，但长期来看决策类应用和多模态应用是未来的主流方向。一定是有更多的未来价值。

决策类应用可以分成两个阶段，一个是辅助决策，即通过诊断问题做出归因分析并提供可行建议，另一个是智能决策，直接做出前瞻性预测和指导业务开展。现阶段受限于模型本身能力和可解释性问题，决策类应用比较受限，但我们认为未来除了少数强监管行业外，决策类应用会有很大价值。

多模态应用现阶段主要是受限于技术发展本身，我们非常看好未来应用场景。因为企业内部真正应用场景中除了纯文本之外，其实还是有大量的图像、视频等数据，真实业务场景一定是几者结合。这些图片的数据怎样跟文本场景结合并且打通，这个非常依赖于大模型多模态技术的发展。

1.3 国产通用大模型和行业/领域大模型的市场机会

接下来我们聊聊目前大模型市场情况。我们按照完整大模型产业链对市场进行了划分，从基础设施的云平台，到模型层的不同类型模型，再到中间层的应用开发工具，最后是应用层的各类服务。

通过与海外大模型市场对比，我们能看到国内外的一些差异。在中国，处于模型层的厂商数量相对较多，但海外则将视野重点聚焦在中间层的部分。从现状而言，国内市场的发力点主要集中在模型层和应用层，应用层很好理解，但模型层未来是否存在市场机会？

从长期来看我们实则非常看好国内市场在模型层的应用，主要可以概括为以下几点：

第一，市场的国产化诉求比较强烈。 一些大型央企业和银行第内部其实对于员工使用ChatGPT用于办公和生产场景存在明确限制，至少5家银行在1年内有明确采购国产大模型服务的计划。

第二，集团层面需要进行大模型能力建设。 以央国企等集团型企业为例，有自上而下的明确购买或自研通用大模型的需求。

第三，数据安全角度要求进行本地部署。 对于大企业来说，一方面在模型推理时需要做到本地部署，而且在前期做模型训练或者指令微调时，大量企业内部的数据集也无法对外。

基于以上三点我们认为中国的通用大模型是一定会出现的。

除了通用大模型，我们认为行业/领域大模型同样存在很大市场机会。

第一，监管层面，尽管本周刚刚发布了《生成式人工智能服务管理暂行办法》，但受限于意识形态等问题，我们判断大模型在C端的应用短期内不会放开，当下还是集中在B端应用。

第二，数据安全层面，企业用户并不会把数据开放，因此，特定场景的SFT数据获取有着较高的难度，特别是对于通用大模型而言。

第三，中国市场发展现状，国外是OpenAI的出现将门槛拉到很高的高度，因此，大部分厂商都是基于OpenAI来开发应用，而国内市场是通用大模型和行业/领域大模型同步发展，通用大模型能力不足给了行业/领域大模型机会。

1.4 企业落地大模型路径

对于企业内部的模型落地我们目前总结出两条路径，一条路是集团企业进行大模型能力建设，另一条是一般企业进行应用场景探索上。

我重点讲下大模型能力建设，由我同事张扬会在第二部分重点讲企业进行应用探索。

大模型能力建设可以分为三个层面：基础设施建设、模型训练和模型应用。

基础设施层面，我们看到比较多是自建集群和进行云服务租用，自建集群的最大问题在于GPU成本相对高昂，因此更多企业用户当下还是选择云服务租用形式，但存在安全性较差的风险。我们认为，从长远来看，智算中心会成为未来的趋势，成本低于自建集群且安全性高于云服务。

模型训练层面，考虑到试错成本因素，目前训练形式还是SFT为主，预训练相对较少，但未来随着基础大模型能力成熟和算力成本持续降低，相信模型预训练将会成为主流方式。

最后是模型应用，主要是三种方式。当前市场是以小模型为主，大模型主要用于提升小模型的开发效率；第二种是模型级联，有很多企业在探索大模型与小模型级联，小模型连接应用，大模型增强小模型能力，这也是我们比较看好的未来方向；第三种是大模型和小模型融合，目前我们现在还没有看到这方面实际进展。

接下来由我同事张扬来分享，大模型在不同行业/场景企业用户的实际落地进展。

大模型在企业用户的落地进展

2.1 企业用户对大模型整体有较高期待

张扬：大家好，我是爱分析的联合创始人兼首席分析师张扬，今天我会主要从三个方面分享企业用户侧大模型实地的一些落地进展。

第一，我们近期调研的对象里企业用户大概有100家，我会先从整体的层面去介绍这100家企业用户对于大模型的整体态度及未来预期；

第二，分行业去分别阐述大模型具体落地的一些实际进展，尤其是具体的应用场景和未来的规划场景，包括延伸出的这些场景具体的业务收益是什么；

第三，大模型在企业侧落地的过程中的流程，以及落地过程中遇到的一些问题和挑战。

在数字化预算比较高的金融、零售、能源、汽车等领域，绝大部分企业比较关注大模型的一些实际应用，但是在推动过程中，我们看到只有少量的企业是在自上而下去推进，这其中基本上以大型的央企为主。

以能源为例，我们看到国网、南网是在主动自上而下推动大模型落地；而绝大部分企业实际是采取自下而上推动的模式，无论是早期的IT部门还是近两个月逐渐增多的业务部门，都是在持续关注大模型，并提出各种各样的需求。

这个过程中其实就涉及到大模型带来的价值度的问题，基于调研结果，绝大部分企业其实对于大模型的预期业务价值抱有很高的期待。我们也把业务价值也分成了变革性、高、中、低这几个维度，核心的区别就在于变革性要创造新的业务。

2.2 当前落地场景和预期业务价值之间存在差异

在企业内部，大模型可分为生成和决策两类应用场景。生成类场景是大模型出现后绝大部分企业用户感知和认知到的场景，最典型的就是对话式交互或者图片、文档的生成，决策类应用场景其实是传统的小模型在去做的偏决策类的场景。目前生成类场景真实能带来业务增长收入的案例在落地的过程当中其实还比较少。

根据调研，当前落地场景和大模型之间实际预期业务价值之间存在差异，第一个原因就是大家的重心其实放在生成场景，但是大模型其实在决策场景里边同样会在未来起到比较大的价值。

传统的决策类场景中，原来传统的AI小模型主要方向非常明确，即能带来降本，或者对业务收入进行提升。不管是数据分析还是数据决策系统，这两类场景其实才是我们认知中未来决策场景里边业务价值更高的一个方向，然而大模型当前在决策场景里面落地还比较少。

第二个原因是从系统角度出发。小模型时代，系统中只有部分模块为AI替代，没法去具备整体性的AI能力，AI应用场景切割的很细，像是工行有着1000+的场景，对应的是超过3000个模型。进入大模型时代，系统整体具备了AI能力，且大模型有很强的涌现能力和变化能力，可以去替代原来的系统，也就随着诞生了AI的一些原生应用。只有你诞生了原生应用，才有可能创造一些新业务，继而创造变革性价值。

下面我会分行业去介绍大模型的落地进展现状。整体而言，能源、银行、出海领域进度比较靠前，已部分进入试点应用的阶段。第二梯队则是证券、消费品零售、媒体等，目前在探索和学习当中。最后是药企、制造等企业还是在观望中，没有具体进展。

2.3 大模型在能源行业的落地进展

首先聊聊能源行业，按照主流采纳时间来划分的话可以分为几个阶段。

一年内能够实现的主要是偏生成的一些应用，像是设备运检知识助手，面向客户端的智能客服，面向内部运营的检修文档自动化生成等等。基本上我们能看到还是偏生成类的场景，所带来的业务价值绝大部分是用户体验的改善和是内部效率的提升，很难和具体的业务增长、降低成本挂上高度的相关性，所以这部分场景的实际价值其实是还是偏低的。

反观一到三年能实现的，包括三年以上能实现的很多场景是可以带来很高价值的，例如三年以上实现等有一项是电力负荷预测。过去电力负荷预测主要是基于历史数据来进行未来预测，基本上只能做到月级别或者周级别，但基于现在的大模型就可以纳入更多的一些影响因素去做实时的一些预测。

举个例子，像今年其实气温整体偏高，如果是基于过往的历史数据去预测的就很难把这些极限数据纳入电力负荷预测的考量因素，但是大模型其实在决策类场景中对于新的实时数据的接入，以及对原有传统模型的改造，让它可以纳入更多的实时因素，不光是温度，甚至包括人口数量一些变化。

紧接着要聊的场景新能源的规划设计。气候或者环境温度的一些影响因素会导致风电、水电、光伏等能源供电并不是特别稳定，过去在某一个地区到底要建什么样的新能源电站其实完全依赖于过往的一些专家经验。现在因为有了大模型的存在，我们能看到很多能源企业在尝试通过AI的算法去做的一些最优解的工作，这些其实也是过去传统的AI小模型做的。

2.4 大模型在银行领域的落地进展

接下来我们把视角转向银行领域。可以明显感受到的是银行开始在营销风控、运营这些业务部门的方向上提出各类大模型需求，一年内实现的只有少量的类似营销图片自动生成的场景。

一到三年内有一个场景是沉睡客户的唤醒，我们现在看到有些银行尝试在做自动化的、策略生成，这个过程当中分组、渠道、文案、时间等一系列的策略都由大模型自动去生成，然后做AB test。这个过程其实是一个端到端的策略生成，这其实也是很明显是一个决策类的场景，也是我们看到现在银行在尝试的第一个营销类的途径。

2.5 大模型在品牌方的落地进展

接下来是品牌方。这个行业除去原生应用，最核心也是大家最寄予希望的就是虚拟导购场景，关于虚拟导购可以从未来两个核心的应用方向来说明。

第一个方向是虚拟导购，从传统的货架式电商到直播电商，再到如今出海的场景下的对话式电商，在这个对话的过程当中实现了通过基于选择等商品进行商品，再到具体下单的一个全流程，是独立于传统电商之外新的一种电商形式。

另一个方向则是数字人导购。大模型加持的新一代数字人交互能力会更强，也可以促成新的IP的形。这两项是我们也是我们看到品牌商预期最高，实际最希望重点去落地的两个方向。

2.6 大模型在车企的落地进展

车企这边的核心落地场景基本是在自动驾驶和智能座舱这两个方向上。智能座舱的核心是在于强化它的交互能力，更多的是能够从原来的车载驾驶相关的一些特定应用中跳脱出来，对整个生活方式起到一些变化。而自动驾驶方面，大模型在其中能起到的价值核心是数据标注，同时AIGC能够生成一些仿真的样本库，对自动驾驶起到一些辅助作用。

2.7 大模型在药物研发行业的落地进展

最后要聊的行业是药物研发。药企中最核心关注的还是AI药物研发，但当前实际落地的时间距离会比较久，核心原因还是传统AI药物研发并没有被药企所认可，很多AI药品研发公司很难拿到药企研发预算，更多的还是在AI药物研发中做出靶点再去卖靶点的过程。所以虽然药物研发是皇冠上的明珠，但是对于大模型来讲依然有很明确的一些壁垒要去突破。

2.8 本地化部署大模型选型分析及推荐

以上是我们在行业层面所窥得的一些现状，下面我要介绍的是大模型落地过程中遇到一些实际问题。

首先，大模型实际在企业内部做应用时基本上不会去做预训练，而是直接调用通用大模型的一些能力，但在实际落地过程中一定会遇到一些实际问题，因此在整个通用大模型的能力进一步增强的时候，会有越来越多的企业用行业数据集训练基础大模型，最终形成行业大模型。

在场景落地规划层面，今天主要分享大家最关心的也是平常交流最多的，本地化部署的大模型到底如何选型？我们列举了三个最常见的模型，分别是Vicuna、BloomZ和GLM。这三个模型基于我们对于企业用户调研的过程当中，选型核心涉及三个维度：实际性能跑分，性价比，合规性。

从性能角度来讲，目前评价最高的还是Vicuna的13B模型，这也是Vicuna最强劲的一个点。所以Vicuna经常是实际落地的时候很多那个测试机上布的第一个大模型。但它也有一个很明确的缺点，即无法商用。所以实际在去真实落地的过程中，我们看到很多企业会去选BloomZ和GLM 6B。

但是BloomZ也存在着不小的意识形态的问题，它对金融行业测试的效果会相对较好，泛行业则会比较弱。整体来讲，目前我们看到的其实采纳度最高的还是GLM 6B这款产品，它不管是在性能还是价格本身，成本层面，包括合规性都有比较强的优势。

未来会有很多基础的大模型企业会开源越来越多的10B左右量级的模型，或者私有化部署到更多的企业里边，所以市场未来势必会有更多的竞争。

2.9 大模型将带来企业组织架构核心的变动

最后再讲讲大模型落地过程当中企业的组织架构核心的变动，未来会有越来越多的ITBP出现，IT不再是单独割裂的部门，会有越来越多的人以BP身份导入到业务部门里，协助业务部门建立更多原生应用。同样的，对于IT来讲，leadership的能力要求会越来越高，它将决定其是否能够跟业务部门更好对话，以及落地是否能流畅顺利的进行。

大模型在科技厂商的落地进展

说完了中国市场大模型进展与趋势，接下来我将重点聊聊大模型在科技厂商的落地进展，包括大模型对科技厂商的价值以及一些有代表性的进展和案例。

3.1 大模型对科技厂商的价值

首先我们可以将价值角度分成三个部分，提升内部生产力，增强产品能力，重塑产品和商业模式。

提升生产力角度，因为大模型目前还是针对企业内部，不管是做研发或者营销内容生成，以给客户做交付服务，在这些方面都可以有比较大的提升。

增强产品能力角度，举例而言，像数据分析BI工具，原来只能由数据分析师或者IT团队来去完成，现在可以由业务人员直接操作使用，门槛降低一定会带来的是用户客群的提升。

重塑产品和商业模式角度，对于大部分科技厂商而言更为关注的是如何商业化，以及是否可以发掘大模型原生应用场景需求，开发全新产品。

当前市场环境而言，当前建设主要还是围绕着提升内部生产力展开。少量的像营销、客服、BI类是可以进阶到增强产品功能、提升用户体验的阶段，但绝大多数厂商都还没有达到重塑产品和商业模式的维度。

那么从未来视角看待，什么情况下会产生一些新的商业模式或产品呢？主要来自于两个维度。第一，大模型本身对于整个业务的服务效果和效率能够有大幅的提升；第二，怎样在落地过程中帮助企业客户节省算力。

3.2 大模型在数据分析、营销场景的落地案例

结合刚才提到的BI的实际例子来看，目前流程是业务用户提需求后，中间环节要求数据分析师去完成再反馈给用户结果。而未来可以变成由业务部门提出需求后，通过自然语言输入查询结果并得到反馈。借由大模型的自然语言交互环节，业务人员理解能力能得到显著提升，最终直接带来的就是生成的SQL本身会更加准确，同时SQL将不再只是反馈一个图表或者一串数字，而是对查询的数据进行分析并生成业务洞察，提升人员的数据分析能力和效率。