2025年将至，企业如何规划大模型预算和落地路径？

最新推荐文章于 2025-02-17 10:34:16 发布

IT猫仔

最新推荐文章于 2025-02-17 10:34:16 发布

阅读量2.2k

点赞数 29

文章标签：人工智能机器学习学习深度学习 langchain

本文链接：https://blog.csdn.net/2301_82275412/article/details/143949154

版权

在即将到来的2024年，企业应如何规划大模型应用场景，未来的重点场景有哪些？同时，企业要怎样确定2024年大模型预算，并带来实际业务价值？

前排提示，文末有大模型AGI-CSDN独家资料包哦！

本次分享将重点围绕大模型在企业用户侧的落地进展及路径展开。

分享嘉宾｜张扬爱分析联合创始人兼首席分析师

大模型在企业用户落地进展

大模型在落地进展方面，我们将主要探讨三个部分：

第一部分是企业用户目前对大模型的预期变化；第二部分是2024年预算如何设置的问题；第三部分是大模型如何阐明业务价值。在内部立项时需要着重包装大模型的业务价值，以便获取更好的预算。

1.1 企业用户对大模型的预期

首先是预期问题。我们基本上是基于面访和问卷调查来进行调研，调查样本主要分布在使用大模型相对较早的行业，其中包括金融和能源这两个最大的领域，此外也包括零售和汽车制造等行业。

我们首先可以看到，绝大多数企业用户目前所处的阶段基本上还是我们所定义的探索可研阶段。与年初相比，这个阶段在23年变化并不是特别大，主要原因是大模型兴起在年初，企业的IT预算其实去年就已经完成了。所以2023年预算制定时其实是没有给到大模型的。

因此，今年实际落地并采纳的大模型预算基本上都是AI相关，以及有些小项目的调整和追加预算。这就是今年实际落地的预算不多，以及还处于探索可研阶段的主要原因。

同时，我们重点调研了企业使用大模型的目的和现在实际在重点应用的场景。

首先是目的。我们可以看到，绝大多数企业用户在过去进行数字化的过程中，核心重点一定是业务收入的增长，业务收入增长是他们采用新技术的核心诉求。但在今年我们可以明显看到一个变化趋势，就是降本的优先级被提到很高。这一现象的根本原因在于大市场环境欠佳，导致企业自身实现收入增长的难度陡增。具体到例子，比如零售企业今年的增长主要是对过去存量的恢复性提升，而实际新增收入增长并不明显，增长空间也十分有限。因此，企业今年的核心目标是稳固利润，核心需求则是降低成本。

在这个大背景下，企业应用大模型其核心目的之一就是通过大模型投入降低企业整体运营支出成本。因此，我们建议企业在规划时，衡量大模型价值的标准也应是能否降低运营成本。例如，现在我们看到的一些企业通过RPA和大模型的组合实现流程自动化，从而降低整体运营成本；文生图也降低了图片采购和版权成本，以及设计师人员成本。

除运营成本外，第二个目标是产品和服务体验的创新。在增量市场较小的前提下，差异化竞争主要体现在产品和服务体验上，因此体验创新是大模型第二个核心应用点。例如现在我们看到的一些客服类应用，很多都是围绕体验的改善和创新进行的，像是在App中加入客户助手或客服助手，核心目标是改善用户体验，并延长用户留存时间。

1.2 大模型未来重点应用场景

下面聊聊2024年大模型重点应用场景。

首先第一个应用就是BI数据分析，这背后的原因首先是由于整体数据分析的理念在企业用户的渗透过程中已达到普遍接受的程度。除金融、零售、能源等数字化预算投入较多的行业外，传统的政府和企业、工业等都在应用数据分析的理念，这些理念的变化带来了对企业内部从高层角度的期望。除了业务部门领导者以外，高层还希望有更多数据分析的BP参与，同时业务部门的执行层也在应用数据分析的工具。因此，这些数据分析工具的普及是大模型更好的应用场景，因为大模型降低了这些工具的壁垒和门槛，使得数据分析更加平民化和普惠化。

另外，在这个过程中必然会带来前面所述的降本，因为原来的数据分析痛点之一是数据部门获取数据和制作报表的过程过于繁琐。现在在人员不变的前提下，自助式的大模型和分析工具能够帮助企业降低人力成本。

第二个应用是客服与知识库。 这部分的提升一部分可以映射到服务体验创新，另外知识库的应用也能降低企业的运营成本，特别是客服方面，通过降低客服人员的数量达到降低运营成本的目的。在客服与知识库的应用中，大模型首先解决的问题是客户体验，过去的客服虽然拦截了大量的用户需求但并未解决问题，导致大量用户流失。所以，客服中的一次成功解决率指标其实过去的阈值是被高估的，虽然对外宣称可能达到60-70%甚至80%，但实际上仍有大量客户未能通过客服机器人解决问题。企业也正在基于大模型客服优化多轮对话的能力，改善用户的客服体验。

知识库实际上降低了部分运营成本。例如HR的SSC场景，以及要涉及全公司的IT SSC场景，这些实际上都是在降低运营成本，主要是控制人员的数量。

第三个应用是营销。 营销在应用的过程中，企业除了制作这些营销素材以外，非常重要的是关于整个营销的策划，即从人群选择到营销策略制定，再到文案到最后效果监测的全过程覆盖。这个过程的核心是降低企业的运营成本，即在人群选择后，营销策略和方案如何改善其最终转化率。这样改善转化率后，实际上对其营销成本，包括ROI的改善是非常有价值的。

另外像是业务流程自动化、软件开发、数字办公这三个基本上都围绕着降低运营成本展开。以上我们建议企业在大模型24年具体尝试场景的六个核心方向。

1.3 当前大模型在企业内的落地进展

接下来我们聊聊大模型的落地进展，与过去相比最大的变化是，之前我们更多看到能源和银行在做落地的进展，但在进入到Q3和Q4后，可以明显看到政务在做大量的落地。这里的核心是因为政务中有很大一部分与客服相关，另外一部分与文档相关。同时，我们看到政务底下有几个核心的应用场景。

第一个是市民服务热线12345，北京、上海等一线城市正在尝试使用大模型去解决热线中的一些问题。举个例子，现在有各地都有一些房地产的限购解除政策，在这些政策发布后，市民打电话询问是否具备购买的资格，可以通过自然语言交互的方式帮助用户解决，而不再是用户自己去判断，或者打电话找人工解决。这个过程中，大模型在12345中尝试的解决方向不再是用户提出问题，而是用户授权基本信息和材料后，可以直接反馈给他一些合适的政策，包括操作的方式和路径，这是第一个比较大的变化。

第二个是民意速办。在过去民意速办的核心在于使用大模型进行工单流转。过去，服务人员必须在一定时间内对民意进行反馈。现在有了大模型后，实际上可以首先进行分类，然后像客服的工单一样流转到对应的部门，基于大模型的方式可以快速进行流转。

第三个是公文撰写，它是基于文档辅助生成的能力，帮助政府人员撰写公文，提高工作效率的过程。

以上我们看到政府今年在Q3和Q4期间重点在尝试一些落地措施。

1.4 企业如何确定2024年大模型预算

接下来介绍一下预算情况，重点帮助企业用户解决确定预算的问题。

首先是从整体市场来看，大模型的预算从2023年50亿会增长到2024年120亿，虽然看起来很多，但120亿中至少有60%以上的预算还是投在算力本身，落在模型层和应用层的预算还比较少。

与2023年相比，2024年有一个较大的变化，那就是2023年没有制定大模型预算，而2024年很多企业明确地在规划过程中留出了大模型预算。据目前的沟通，整体AI预算的比例里边有10%会划归给大模型的一些应用建设，因为底层的算力是共用的。在这个过程中，应用建设从过去的几十万增加到一百万，到明年可能还会涨到三五百万。

预算增加的还有一个原因是在未来的两三年内，大部分的投资将用于开源大模型的底层推理算力部署，以及微调所需的算力。明年将有大量的更大参数模型投入市场，包括一些已经开始规划千亿级参数模型的企业。这个过程中将需要大量的投资，因此明年的预算将重点投入到底层的大模型私有化部署能力建设。

从预算规划的角度来看，建议企业将其AI预算的10%左右分配给大模型。如果AI预算较小，也可以考虑将IT预算的10%用于大模型。另外，我们建议在实际投入预算时，可以从可研课题开始，因为论证成功的可研课题可以直接与合作伙伴共同投入大规模预算，以进入生产环境。究其原因，当前的大模型无论是底层能力还是应用都尚未完全成熟。如果企业内部对于模型的准确性有较高要求，这些问题在实际厂商选型过程中很难解决。因此，我们建议从可研课题开始，并与深入合作的合作伙伴一起，将可研课题中出现的问题全部论证完毕，再进行上线应用。

下面介绍一下可研课题论证的核心方向。

首先是理论研究，因为大模型的能力在不断扩展。其中包括目前热门的推理和Agent能力，以及在企业内部的实践可行性。这些都是理论研究和技术研究阶段需要解决的问题。

然后技术研究，除了大模型外，还需要研究其他模型的融合，包括底层算力的可行性。

最后是应用探索，例如上大模型对客服的需求有何影响，这需要在前期进行探索。虽然从大方向上来看，客服一方面解决了大模型的问题，另一方面也解决了冷启动、上下文联系以及多轮对话的能力问题，但实际上在落地到每一个企业里面还会有很多个性化的应用需求，这些需求在可行性研究课题阶段需要确定下来，同时在需求分析阶段也需要进行确认。因此，我们建议在可行性研究阶段着重解决这些问题，以确保可行性研究论证成功后再投入大规模预算。

1.5 大模型预期的业务价值

下面要讲的是如何包装大模型预期的业务价值。

首先，我们强调的是降本，即企业用户的核心方向是2024年实现降本。 因此，我们也建议通过大模型的业务收益进行包装。这里我们举一个核心例子，就是基于Agent进行自动化，上图中通过增加大模型，增加了理解层面和规划层面的控制，而不只是执行层面的控制，因此大模型能够作为一个大脑控制整个任务的分解和执行，从而实现全流程自动化以降低成本。

另一个是大模型+RPA回复社交媒体评论的典型案例。社媒上的评论，包括关于品牌、产品和服务的评论，需要先进行分类。过去的分类是通过规则进行，而如果有Agent最好的方式是通过Agent与内部人员的对话式交互，或者直接输入这些文本，然后基于这些文本，Agent可以理解这个社媒回复应该分到哪个类别。一旦分类完成，就可以进行任务分解。除了社媒评论的类别外，还需要基于用户类别生成个性化问题，因为大模型可以通过社媒上的用户ID对应到数据库中了解用户的基本情况，这样基于上下文可以回复得更准确。以上这些问题都可以在规划和分解阶段由大模型解决。

此外，如何调度RPA，包括调度哪些机器人，都可以由大模型在运行阶段解决。正如前面所述，具体生成的内容，包括文案、字段和表格，都能基于大模型的生成能力实现。因此，完成一整套流程后，可以节省运营人员的精力和数量，同时也可以节省一部分RPA调度的成本，以及文案生成的成本，因此，通过完整的自动化和智能化流程，可以实现降本的价值。这是第一个明确的大模型降本价值实现案例。

大模型的另一个业务价值体现就是强调它的端到端的业务形成闭环，改善最终的效果。 企业内部实际存在生成场景和决策场景，当前大模型多在生成场景中应用，而决策场景仍存在缺陷。以营销为例，实际上就是通过大模型和小模型的融合赋能整个端到端的业务闭环，包括人群圈选、营销策略、生成文案和效果监测。

在不同的环节和流程中，场景属性不同，人群圈选和营销策略基本上是以决策为主。营销文案是典型的生成场景。小模型可以基于实际的用户画像判断人群的圈选，效果会更优；而大模型则在策略和文案上有渗透，文案方面比较容易理解，即基于人群的一些特征可以直接生成个性化的文案。

在策略方面，过去企业基于自身积累了大量策略，其中许多策略以文本形式存在，这些都可以输入到大模型中，作为历史策略和其效果的参考。这样大模型可以基于人群圈选提出一些建议策略，这些建议策略过去通常由人工完成，以及基于过去的策略模板或少量的小模型进行，但大部分还是依靠人工操作。

基于大模型的策略建议，一方面可以提高业务效率，另一方面具有可解释性，因为它可以告诉我们为什么要推荐新的策略，这是大模型的一个重要应用点，也是端到端的优势之一。最后通过效果监测，可以明确看出大模型生成的策略和文案是否有效，实现闭环优化。这样我们就可以根据积累的策略，不断调整新的输出，形成新的营销策略基础。

综上，我们建议企业用户在规划时，应从两个方面考虑预期业务价值，一个是实现端到端的业务闭环，另一个是直接降低成本。

大模型在企业用户落地路径

接下来的部分将介绍大模型在企业用户侧的落地路径，包括具体的场景规划，这也与企业用户实际的2024年规划直接相关。

2.1 大模型能力建设和应用建设

企业用户落地大模型有两种不同的思路，一种是进行能力建设，另一种是进行应用建设。

能力建设的核心目的是构建企业自有的大模型，目前这方面只适用于数字化预算较多的企业，建议年度数字化预算至少在20亿以上的企业考虑这个问题。而应用建设方面，大多数企业围绕刚才所说的降低成本或体验创新这些核心目的进行建设。这两种建设的投入成本一高一低，建设思路也截然不同。因此，我们所提及的两种建设方式，都是企业用户使用大模型的方式，但适用范围存在显著差异。

2.2 大模型在企业中的落地路径

在落地过程中，主要分为四个阶段，第一阶段是探索可研，第二阶段是全面规划，目前领先的企业基本上处于全面规划阶段，明年将进入试点速赢和全面推广阶段。

在探索可研的阶段，具体的建设工作可分为三部分，除了应用建设和能力建设外，还有一个非常重要的方面是组织建设。组织建设的思路和方式与过去的AI模式大致相同。因此，我将重点探讨应用建设和能力建设的具体内容，并将提及组织建设的一些过去AI的经验。

在探索可研阶段，我们建议企业选择的应用建设场景应该是落地速度快、成本不高且能让公司内部感受到大模型实际应用价值的一些场景。 因此，在应用建设的早期阶段，企业的应用场景包括客服、知识库问答、办公、研发和数据分析等，这些都是我们前面强调的重点应用场景。

在这些场景中，最优先推荐的是知识库问答，这是企业内部全员都能使用的产品，也是员工对于大模型的接受度和理念会比较容易推广的一个方向。因此，在探索可研的应用建设阶段，建议选择一些全员内部都能用得到的应用场景。这样一方面可以让全员接受大模型的理念，另一方面也可以为后面实际上线的应用场景的落地带来更好的价值。同时，这也为IT部门与企业部门的前期基础培训和基础大模型知识的普及提供了良好的基础。

底层的能力建设则主要基于开源的模型，如GLM和LLaMA，核心强调的是持续的微调和迭代，因为对于企业用户来说，尤其是早期的一些应用其实并不需要那么大的参数，当前模型的参数量级是足够的。因此，关键是进行持续的微调，这个过程中如何提高效率，就包括持续微调过程中，像是LLMOps这样的中间层工具来解决。

我们目前看到了更新频繁度较高的微调进展，已经能实现半天一次，因为在微调过程中仍然会有灾难性遗忘和能力缺陷的表现，所以微调的版本并不一定每一个都能真实地应用到生产环境中。因此，如何以天级甚至半天级为单位进行持续的微调和迭代，并保持这些版本的持续有用性，这是企业在探索可研阶段需要解决的重点问题。因为只有这样在建立知识库和微调过程中，才能持续跟上企业内部的应用场景，包括对客户的应用场景。因为大模型中的知识即时性问题和实时性问题存在很大挑战，所以我们建议在能力建设阶段解决这些问题。

在这个阶段，因为业务部门参与不多，我们建议IT部门带头，数据团队参与其中，尤其是在初始化的数据和预训练的高质量数据方面，数据团队要重点解决问题。在全盘规划阶段，整个公司需要落实一些理念和概念，建议用全端规划的思路在全公司落地，而落的过程中主要目的是，首先要有一个全公司的场景图谱，这个场景图谱我们建议分成三层，用例，场景，和端到端的流程。

那么为什么要区分成这三层呢？首先，大模型能力建设最终目标实际上是建立一个端到端的流程。其次，当前大模型在实际落地时，不一定能做到一个场景集，往往是一个用例集。例如，在协同办公中，大部分情况下使用的都是用例集，所谓用例集就是在协同办公过程中，用户希望看到采购流程的进度启动下一次采购的招投标会议，这是一个典型的用例，但在整个场景中使用大模型的地方并不多。

第二个用例是基于语义理解去调用过去的资料，这过程中可能完全不需要大模型。第三个用例是创建新的会议，这些会议基本上都是采购招投标会议，创建会议的过程中是有模板的，不一定需要大模型。

因此，我们强调用例的作用是为了更清晰地确定在整个过程和场景中哪些地方可以使用大模型，其他地方是否可以使用大模型来渗透思路和方法，以确保整个场景包括未来的流程都可以使用大模型。这是我们建议企业用户在构建场景地图时需要注意的一个点。其他建议是建立落地规划路径，方法是左边是场景的价值，从体验类的降本增收到变革价值越来越高。

2.3 大模型未来场景规划

我们建议企业一年内在规划阶段重点实验以下两类场景。

第一，探索可研场景中的知识库、文案、图片等，这些场景的特点是验证速度快、成本低，但无法形成流程。例如我们刚才讲的图片只是营销功能中的一个点，无法形成整个营销流程，文案也是如此。

第二，试点速赢阶段规划能覆盖全流程的场景 ，如数据分析、智能客服等。 智能客服从前端客服的培训，到全渠道接入，机器人客服，再到人工客服，最后质检以及统计分析，这个全流程中都可以使用大模型，这样的端到端覆盖全流程的模式能够改善最终的业务效果和降低成本。

因此，我们建议在试点速赢阶段，应重点选择那些能够覆盖端到端流程的场景进行应用。此外，在能力建设方面，当前的主要思路是部署千亿级模型，当然，这一思路存在较大落地难度且周期较长，预期这个落地过程可能会在2024年初有一些进展。

从未来的角度来看，我们建议企业在明年考虑两个问题。

第一，目前的能力建设和应用建设是两条完全不同的道路，没有太多交集。 然而，能力建设和应用建设应相辅相成，因为能力建设是长期目标，能够支撑应用建设，而短期的应用建设也需要效果以推动大模型的持续落地。因此，我们建议企业在2024年开始，尤其是中下旬，考虑自己的应用建设和能力建设之间的关系。此外，从项目切入的角度来看，企业可以考虑从应用建设开始，逐步建立能力建设的基础思路。

第二，在大模型应用建设和数据能力建设之间建立联系，因为模型的准确度很大程度上依赖于知识库的知识工程水平，而知识工程又与数据治理密切相关。在这个过程中，我们也建议企业在大模型应用建设时，应同时考虑自身数据能力建设的问题，特别是过去的数据能力建设中的一些负债问题，这些负债可能在大模型应用建设中成为潜在的风险，这些风险也应在规划阶段得到重点解决。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：