深耕 AI SaaS+,助力数万电商客户数智化转型
上海乐言科技股份有限公司(以下简称“乐言科技”,官网:https://www.leyantech.com/)自 2016 年成立以来,专注于利用自然语言处理和深度学习等核心 AI 技术,为电商、金融、医疗、科学等多个垂直领域提供整体解决方案。公司在杭州、广州等地设有分支机构,已成为国内领先的人工智能企业。
深耕行业八年,乐言科技形成了完整的能力栈,发布了“乐言 GPT 大模型”,推进大模型解决方案赋能行业,并与头部品牌合作探索创新应用。公司已申报多个重大项目,获得多项荣誉和认证,并积极参与标准编制,以“引领人工智能技术,为客户创造价值”为使命,持续推动 AI 技术与行业的深度融合。
自研智能客服机器人“乐语助人”日均服务超千万人次
乐言科技致力于提升行业服务效率,核心业务之一是智能客服机器人,面向电商企业提供 AI SaaS+ 服务。其自主研发的电商智能客服机器人“乐语助人”(官网介绍视频:https://www.leyantech.com/themes/leyan/public/assets/video.mp4 )适用于天猫、淘宝、京东等国内主流电商平台,基于自然语言处理、知识图谱、深度学习等领先的人工智能技术,具备充分的语言理解能力,可以模拟金牌客服的回复逻辑,进行买家咨询接待、业务问题处理、智能推荐、客情维系等工作。在降低人工客服团队营运开支的同时,大幅提升了客服人均接待效率与营销转化率,为电商商家创造了更多利润。
目前,“乐语助人”每天服务超过 2000 万人次,与六万余家电商客户合作,提供 AI SaaS+ 全链路数智化解决方案,助力企业完成数智化转型。上海乐言科技股份有限公司累计 SaaS 软件年收入约十亿元,并积极探索海外市场,推出跨境电商 AIGC 解决方案,服务 400 多万海外店铺。
智能客服机器人业务量激增,自建消息队列面临诸多痛点
在智能客服机器人系统中,“对话消息分发”是核心功能之一,对提高回复效率和处理高并发请求等起到关键作用。
在系统建设初期,由于业务规模较小,开发与运维团队的规模及技术能力有限,乐言科技统一采用自建 Apahce Kafka 作为消息中间件,以实现业务解耦与流量削峰,增强系统的灵活性和可扩展性。同时,Apache Kafka 还作为各数据系统(如 AI、大数据等)之间的数据通道。因此,确保其消息服务流程的顺畅至关重要。
然而,随着业务规模增长和系统复杂度增加,消息处理的精细化需求日益凸显,单一消息中间件架构需额外投入更多技术资源以维持效能,其扩展性与灵活性也逐渐成为系统演进的约束条件。同时,自建 Apache Kafka 集群的运维成本持续攀升,还逐渐暴露出系统稳定性不足、精准投递功能笨重等问题,导致运维压力倍增。
核心痛点如下:
- 稳定性和弹性问题:公司核心业务系统共用 Apache Kafka 大集群。不同业务系统对集群的 IO 压力重叠,会造成彼此影响,例如:侧重高吞吐量系统可能会对延迟敏感的系统造成影响。而集群的扩容和缩容需要对分区进行重新均衡,也会对延迟敏感的对话消息造成稳定性影响。
- 运维成本过高:为了应对共用集群带来的影响,公司对 Apache Kafka 集群进行了拆分。然而不同集群每天业务消息量的波峰波谷明显且差值较大,波谷期资源利用率偏低,容易导致资源浪费,造成成本冗余。此外,临时扩容周期长且需大量人力投入。
- 无法精细化消息处理:Apache Kafka 仅充当消息管道,无法根据消息 Tag 进行精准消费和 SQL 过滤。业务系统为满足精准消费的需求,需要增加研发成本,基于 Apache Kafka Topic 进行额外开发,容易出错且灵活性很差,制约了我们新业务模式的展开速度。这在对接大客户的定制化需求时,尤为迫切。
- 消息级别可观测性差:Apache Kafka 无法直接查看每条消息的详情和消费状态,无法满足问题排查和运营支持的需求,需要开发额外工具或系统进行支持。
精准破局:从自建开源消息队列到阿里云消息队列
因此,乐言科技基于消息类型特征与业务逻辑复杂度拆分业务,并精准匹配消息队列选型策略:
- 业务解耦与强一致性场景:针对侧重于业务解耦、涉及较多后置逻辑处理的场景(如强一致性、顺序消息等),采用阿里云消息队列 RocketMQ 版 Serverless 系列,以满足高可靠性与确定性需求。
- 实时流处理场景:大数据及日志类实时流处理业务沿用 Apache Kafka 架构,并计划迁移至阿里云消息队列 Kafka 版,以提升资源弹性与成本效益,持续优化技术架构。
对于业务解耦场景,采用云消息队列 RocketMQ 版 Serverless 系列替换自建开源 Apache Kafka,可以实现更高效的精细化消息处理,具体优势如下:
- 高效实现分布式顺序消息:仅需按照顺序消息的投递 API 和定义顺序消费 Group 组,即可实现分布式顺序消息,相比 Kafka 指定 Partition 投递和消费扩展性强,业务仅需按照所需设置 MessageGroup,实现更灵活,与服务端绑定低。
- 支持服务端消息过滤:在实际业务场景中,同一个主题下的消息往往会被多个不同的下游业务处理,各下游业务的处理逻辑不同,且只关注自身逻辑需要的消息子集。云消息队列 RocketMQ 版支持 Tag 标签过滤和 SQL 属性过滤,使用云消息队列 RocketMQ 版的消息过滤功能,可以帮助消费者更高效地过滤自己需要的消息集合,避免大量无效消息投递给消费者,降低下游系统处理压力。实现降低客户端的开发工作量和处理流量。
- Serverless 系列弹性降本:云消息队列 RocketMQ 版 Serverless 系列能够通过资源动态伸缩,实现资源使用量与实际业务负载贴近,并支持按照实际使用量计费,无需按照最高峰值预留资源,有效降低运维的压力和使用成本。
采用云消息队列 RocketMQ 版 Serverless 系列,整体降本 37%
- 保障业务稳定
通过使用云消息队列 RocketMQ 版 Serverless 系列替换自建开源 Apache Kafka,成功实现业务拆分解耦与流量隔离,有效避免了业务流量冲突导致的中间件并发问题。云消息队列 RocketMQ 版提供 99.99% 服务可用性和容灾保障,显著提升了整体业务的稳定性和连续性。
- 降低开发成本
借助云消息队列 RocketMQ 版 Serverless 系列的顺序消息与消息过滤能力,将复杂的分布式顺序消息场景简化,有效减少了业务逻辑的复杂性,降低了开发成本。
- 提升运维效率
基于云消息队列 RocketMQ 版提供的丰富的 Metrics 和 Trace 可观测工具,构建了完整的运维体系,极大提升了日常问题排查和巡检效率。
- 资源弹性降本
云消息队列 RocketMQ 版 Serverless 系列采用动态资源调整策略,根据实时业务负载自动弹性伸缩,按量付费,无需预先估算并配置实例规格。通过将对话引擎、基础数据服务等业务迁移至云消息队列 RocketMQ 版 Serverless 系列,整体成本相较于之前降低了 37%。
云原生生态深度赋能乐言科技架构升级与创新突破
乐言科技依托云原生架构及阿里云云原生产品体系,实现基础设施与业务解耦以及弹性调度,在提升业务稳定性的同时,显著增加研发效能并降低运维成本,加速电商客户定制化需求交付,推动云计算与 AI 技术在电商领域的深度融合。
- 在大促等流量突增场景中,云原生架构通过秒级自适应弹性扩容,保障业务连续性,结合微服务引擎 MSE Nacos 的自动扩缩容和节点自愈能力,系统抗风险能力显著提升。MSE Nacos 团队基于双版本(社区与商业)维护经验持续优化商业产品的核心能力,比如性能提升、配置标签灰度、推空保护、配置中心的传输和存储加密,进一步提升微服务可用性与安全性。
- 在智能客服场景中,乐言科技采用日志服务 SLS 替代原有的自建日志系统,统一采集与存储多平台的客服沟通记录,以便用于数据分析驱动产品演进。相比自建日志系统,SLS 凭借高可用性与高吞吐量优势,有效解决了业务增长带来的存储成本激增、稳定性不足及人力投入过高等问题,显著降低综合运维成本。同时,为了进一步观测云上资源使用情况,使用企业云监控导出云上监控数据,与实际业务需求相结合,为构建智能化运维体系提供强有力的支撑。
面对 AI 技术发展与海外市场拓展等机遇,乐言科技将深化与阿里云的合作,基于业务需求迭代云原生架构,深度应用云原生产品,助力电商客户实现数智化转型,持续推动 AI 技术在行业应用中的创新突破。