大模型LLM的企业应用

最新推荐文章于 2024-09-17 16:52:57 发布

大模型官方资料

最新推荐文章于 2024-09-17 16:52:57 发布

阅读量931

点赞数 22

文章标签：人工智能语言模型自然语言处理学习

本文链接：https://blog.csdn.net/xzp740813/article/details/140071034

版权

本文是由Salesforce AI平台首席架构师，机器学习专家Ricky Ho发表在他的LinkedIn账号上的文章。作者总结了目前大语言模型LLM在企业端的一些应用场景，希望对你有所启发。

自从ChatGPT问世以来，生成式AI模型的潜力已经给许多企业领导者留下了深刻印象。在这篇文章中，我将分享一些企业正在考虑使用大型语言模型（LLM）的常见应用场景。

|| 将自建机器学习模型外包给LLM

许多先进企业已经聘请了数据科学家来内部构建预测模型，以增强他们的应用程序。对于这些企业来说，一个常见的计划是将他们自行开发的文本分类模型，如“情感分析”、“意图检测”、“文本分类”、“语言翻译”等外包给LLM。

在这个过程中，当企业被LLM按照token收费时，他们可能会认识到运营成本不断增加。许多企业最初会使用商业LLM来验证模型，然后迁移到开源LLM。

通过将自建模型外包给LLM，企业希望减少其上市时间以及模型维护成本。

|| 通过LLM整合分散的数据

使用不同应用程序（如ERP、CRM等）运营业务的企业，信息往往分散在多个系统中，这使得构建全面视图变得困难（例如，销售人员可能将他们的客户信息分散在电子邮件、会议记录、在线评论、帮助台等多个地方）。

LLM可以用来从多个来源汇总信息，构建一个有组织的大局观。同时，LLM可以持续消化新信息以更新知识图谱（例如，LLM扫描电子邮件和聊天机器人对话，检测其中提到的客户和行动，将它们插入后端知识图谱，并使用这些信息为prompt提供基础信息）。

通过更有效的方式整理分散的信息，可以提高员工的生产力。

|| 将LLM聊天界面整合到现有产品中

图形用户界面（GUI）一直是用户与应用程序交互的主流方式。应用程序开发者基于对正常使用流程的预期，设计各种屏幕/页面并将它们相互连接。但是使用流程是由应用程序设计者而不是用户控制的，所以一些边缘情况常常没有被考虑到。

聊天机器人就是把控制权交还给用户，因为用户可以在通用聊天框中输入任何他们想要的内容，而不是跟随预定义的页面流程。

有了LLM，提供有效的聊天界面比以前容易得多。大多数LLM提供商提供了一个特殊的“ChatCompletion”界面，允许在对话中明确捕获上下文、问题和答案。通过精心设计的提示模板，企业可以指导LLM查看完整的对话历史，在产生响应之前提取必要的基础数据。LLM已经证明了它在对话上的强大能力。

企业正在积极探索使用LLM为他们现有的应用程序添加聊天界面，以便给予用户更多的控制权。企业使用高级LLM通过对话检测意图，与预定义的交易任务匹配，触发一个子流程，引导用户通过聊天界面提供必要信息，一旦收集到足够的信息并与用户确认，LLM将生成执行计划并调用后端系统完成交易。

一个流行的界面是“与您的数据对话”，其中用户使用自然语言向数据库提问。LLM将问题（连同上下文）转化为数据库查询，提取相关数据生成视觉图表，最后向用户提供音频解释。

随着这一趋势的持续，聊天框可能会演变为跨所有应用程序捕获用户输入的通用用户界面，而不是每个应用程序都有自己的UI设计。输出将是多模态的，包括文本、图像、音频等。

通过聊天界面将更多控制权还给用户，企业期望增加用户的参与度，并从产品的使用中收集更多反馈。

|| 通过LLM改善客户的搜索体验

对于电子商务网站来说，拥有一个有效的搜索界面（使客户能够找到他们需要的东西）对企业收入有直接影响。大多数拥有Web界面的企业通常已经开发了自己的搜索机制，通常通过将内容索引到文本数据库中，并在其网站上提供一个搜索框，允许用户提交查询。

由于具有强大的“查询理解”能力，LLM可以通过用户在网站上的互动轨迹，分析聊天界面的对话和会话，更深入地理解用户的意图。这提供了比搜索框中的简短查询更多的信号，可以通过多媒体（包含文本和图像）提供更丰富的搜索体验，用户可以使用自然语言对图像或视频的语料库进行搜索。

企业期望LLM增强的搜索界面能够返回更有用、更相关的响应，以匹配用户的兴趣。

|| 通过LLM实现客户自助服务

客户服务是许多企业的重要组成部分。企业已经建立了大型支持系统来支持他们的客户。当客户报告问题时，指定的支持人员通常会将问题描述与一系列知识文章、用户手册、以前的案例等进行匹配，试图找到解决客户问题的方案。这个过程可能非常繁琐、耗时，并且高度依赖于个别支持人员的经验。客户服务通常占企业大部分运营成本的一大部分。

因此，简化客户支持至关重要。一个方向是研究如何为客户提供自助服务能力。凭借推理和解释能力，企业开始使用LLM作为一个工具，让客户了解他们的产品以及解决自己的问题。这不仅可以减轻支持人员的工作负担，还可以提高客户满意度，因为LLM可以更准确地查找现有案例和文章，并更快地解决问题。

企业期望使用LLM进行客户自助服务可以大幅降低客户支持成本，并提高客户对产品的整体信心。

|| 使用LLM与客户定制化沟通

在客户关系管理周期中，企业经常与客户进行沟通，发送公司新闻、产品更新、促销邮件等。一般企业是通过邮件模板完成的，发送消息时，企业将提取特定于客户的信息（例如姓名、地址等）到数据文件中，用于填充消息模板中的占位符。消息的个性化仅限于占位符所在的位置。

使用LLM，填充占位符后构建的消息可以通过LLM重写进一步个性化。企业将使用特殊的提示模板指导LLM重写消息，加入额外的客户信息，如购买历史、浏览历史等。通过这一额外的重写步骤，每个客户现在都能看到为他们的兴趣和过往互动量身定制的不同消息。

企业期望LLM能够使他们进行大规模个性化，并为每个客户提供独特的体验，提高他们的参与度。

|| 使用LLM加速开发高级应用程序

在过去的二十年里，以服务为导向的架构主导了我们软件的交付方式。很多公司把他们的软件做成了可以远程调用的API形式，现在网上有很多公共服务可以用。公司可以通过组合这些服务来创建更高级别、特定领域的应用程序功能。这通常是通过编码（调用现有服务）或使用工作流工具（用UI定义服务流程图）来完成的。

有了LLM代理架构，从现有服务中组合高级应用程序功能变得更简单了。公司首先定义他们信任的服务（无论是内部的还是外部的），设定API接口和输入/输出的信息格式，再加上详细描述它提供的功能，然后把这些服务存储在一个元数据仓库里。为了构建一个更高级别的应用程序，公司可以用文字描述他们的高级目标，配备了推理和规划能力的LLM代理会查看元数据仓库，看看有哪些现有的服务可以用，制定一个计划，然后通过调用这些现有服务来执行这个计划。

公司期望LLM能缩短他们高级应用程序开发的周期，使他们能够在快速变化、竞争激烈的商业环境中更快地尝试新想法。