IM+LLM，融合通信的 AI 场景落地实践！

随着大语言模型应用（LLM）的普及，越来越多的厂商通过集成的方式来提高自身产品的服务质量和效能。

本文基于网易云信在 ArchSummit 上的演讲分享结合在 IM+AI 实践整理。

近期，OpenAI 终止对中国提供 API 服务的消息不胫而走，与此成反比的则是国内通用和垂直大模型的加速发展以及与千百行业的融合。

网易云信基于多年即时通讯服务建设经验，结合对千行百业在协同办公、客服、营销、社交等场景需求，面向企业开发者推出了低门槛、低成本、安全可靠的“通讯场景+LLM”解决方案。

网易云信“通讯场景+LLM”解决方案，以 AI 划词搜索、多国语言翻译到论文索引、会纪总结，再到文辞润色和代码文本解释等应用工具为底座，通过搭建客服、虚拟世界聊天互动、社交AI聊等方式，为娱乐社交、在线教育、协同办公、游戏社区、电商物流等行业提供通信场景下的大模型解决方案。

传统客服 vs AI 数字人客服

纵观传统客服行业，一直受到知识库维护成本高、用户意图把握难、历史信息查阅繁琐等问题的影响，而 AI 数字人客服基于企业知识库基座和 IM+AI 引擎，通过对用户咨询问题进行意图精准识别，并根据问题实时对知识库进行更新，从而进一步提高传统客服的工作效率和服务质量。

具体来说，网易云信通过自动化知识库搭建将历史对话消息或知识库导入向量数据库，AI 数字人客服则自动抽取相关问题对答，并以结构化的方式呈现。另外，知识库同时支持手动导出、修改、删减等功能，以此帮助运营者快速构建、更新知识库内容。

此外，AI 数字人客服还会根据历史对话内容中客户的问题、诉求等意图推送给知识库和模型共同分析，并根据结果选择匹配答案或生成答案，从而保证对话的连贯性和精准度。

AI 数字人客服在自主应答之外，还会协助人工客服进行实时的答案建议，人工客服也可以自主选择是否插入，并对相关答案对话框中的内容进行润色修改，对于修改后更加亲和干练的答案支持再次打标，以反哺知识库训练。

此外，在一些需要多角色且专业的客服协同时，人工客服可以直接激活 AI 客服，让 AI 根据历史消息进行解答。当然，AI 也可以在群聊中提供多角色。

企业客服除了传统问答之外，也会承担营销工作，相比于传统营销方式 AI 营销客服可以通过多种方式展示营销信息，而在对话中又可以通过多种方式（文字、图片、视频、超链接等）进行持续的对话，以此提升对话的可读性、吸引力，从而缩短转化路径、提高转化率。

陪伴社交 vs 社交助理

当前，AI 在国内社交产品的应用以情感陪伴为主，而海外则以角色扮演和互动为主。网易云信推出的“通讯场景+LLM”的解决方案则提供了除陪伴社交以外更多功能化和拟人化的设定。

如虚拟世界群聊场景中，用户可以与原创作者预设的角色进行互动，在用户聊天过程中，通过关键词触发的方式，让 AI 参与其中，进而进行问题答疑、动态内容生成、话题讨论、故事延续等，以此增加用户互动过程内容的多样性和沉浸感。

同时，此种方式也可以直接应用到单聊和群聊场景中，用户只需要@数字人，即可让其参与到聊天对话中，而数字人则会根据当前聊天中上下文内容进行平滑承续，从而提高了互动的新颖性。

网易云信，助力 PaaS + LLM

尽管 AI 技术为行业带来了许多便利，但企业开发者在应用大模型时仍面临着一些挑战，如训练难、选型难、找数难和业务融合难等。

网易云信的 PaaS + LLM 架构提供了多种优势，包括低门槛集成的 IM+AI 能力、丰富的 IM 行业场景实施经验、细分场景的脱敏精修大数据积累等，从而为企业提供更高效、更安全的通信和智能化服务。

• 丰富的 IM 行业场景实施经验沉淀

云信 SDK/API 已累计接入全球 180 万企业开发者，覆盖终端超 224 亿，对各行各业的场景落地有较其他厂商更深刻的理解，在支撑企业完成低成本、高安全、高体验的 IM+AI 创新探索上有丰富的行业经验优势。

• 细分场景的脱敏精修大数据积累

作为消息对话通讯服务厂商，云信已成功发送 2 万亿条消息，面向对话式 LLM，脱敏精修过的消息类大数据为特定场景下的大模型训练提供有力保证。

从 AI 热点发酵以来，云信通过多种合规渠道，持续丰富自己的场景数据集，旨在为客户落地更好的AI体验

• 大量垂类模型调研信息积累

当前市场大模型百花齐放，数千种大模型眼花缭乱，云信结合多年对行业场景的深刻理解，定向聚焦推进市场上通用大模型，垂类大模型的调研工作，摸底不同别类的模型特性优势，积累了在不同场景下应用哪种模型更贴合业务需要的前置信息。

• 融合度更高的 IM 底层能力

作为 IM 厂商，云信已提前规划针对 AI 的 IM 底层能力融合工作，包括消息流式打印，第三方大模型消息互通、AI 聊等，旨在交付开发者功能融合度更高的产品能力，保证用户最佳体验，帮助企业降低集成研发成本。

为了满足企业对数据安全和业务可控性的需求，网易云信还支持 PaaS 部署方式、LLM 部署方式等，并为企业提供了本地部署的算力平台和数据存储服务，以及即时通讯云服务和内容合规安全审核服务，从而为业务方提供业务落地成本控制方案设计，以及长期运维辅助和支持。

网易云信通过其融合通信和智能化服务，为企业提供了一个全面、高效、安全的数字化解决方案。随着技术的不断发展和创新，网易云信将继续引领行业的发展，为企业创造更多的价值。

点击阅读原文，帮你落地安全、懂业务、低成本的本地大模型！

关于我们

   干货资料 免费领取   

【扫描二维码】即可免费领取！