▼国庆专场直播,预约保你有收获
—1—
Spring AI Alibaba 推出背景
在生成式 AI 技术迅猛发展的背景下,针对 AI 应用开发的需求日益旺盛,市场上涌现了,比如:LangChain、LlamaIndex 等众多开发框架。然而,这些框架大多仅支持 Python 语言,这对于习惯使用 Spring 框架进行开发的国内Java 程序员来说,并不是那么亲切和便捷。
鉴于此,阿里推出了基于 Spring AI 的 Spring AI Alibaba,旨在通过便捷的API 抽象,助力 Java 开发者轻松构建 AI 应用。同时,我们还提供了全面的开源支持,涵盖可观测监控、网关、消息队列、配置中心等全方位功能。
—2—
AI 应用框架发展趋势
第一、应用程序架构的发展趋势
应用程序架构经历了从单体架构到 LAMP 架构,再到 SOA架构、微服务架构,最终发展到云原生架构的演变。在下面的图中,左侧展示了一个典型的云原生应用架构,它集成了容器技术、微服务架构和声明式 API。在这个架构中,微服务根据业务模块的需求进行了拆分,并对架构进行了无状态化改造,将数据存储任务交由数据库处理;微服务在容器中运行,实现了按需伸缩,极大地提升了研发效率和运维能力。
在上图右侧展示的 AI 原生应用架构中,构建的核心是大模型(作为“大脑”)和Agent 驱动(作为“手脚”)。该架构下的 Agent 遵循以下三个设计原则:
1. API优先,促进开放合作:以 OpenAI 为例,作为全球最大的 API 销售公司,它通过 API 迅速构建了其生态系统和收入来源,推动了创新的步伐。大模型企业无一例外地通过 API 向外界提供服务。
2. 事件驱动,增强处理能力:与传统的应用程序不同,大模型处理速度较慢,长时间保持连接的流式推送消耗较大资源,因此采用消息解耦的方式来提升系统的吞吐量。
3. AIOps,一键式诊断:相较于传统应用,大型模型的失败率更高,问题定位更为困难,因此需要更先进、智能的诊断工具来实现快速问题定位。
第二、AI Agent 框架的发展趋势
AI Agent 的发展历程可以概括为以下三个阶段:
1. 初期阶段:2022年,ChatGPT 3.0的问世震撼了全球,尽管当时存在数据幻觉、数据质量以及数据格式等诸多问题,但不久后,行业推出了 LangChain 来应对这些挑战。然而,随着大模型能力的增强,原有的问题逐渐得到改善。不过,由于大型模型更新迭代快速,LangChain 的过度封装并未有效减少工程师的编码工作,反而增加了系统的复杂性。
2. 发展阶段:2023年,随着 ChatGPT 4.0、LIama 3.0、Qwen 2.5等新大模型的推出,大模型性能得到了显著提升,早期提示词的作用逐渐减弱。LlamaIndex 因其更为简洁的架构抽象,更贴合当时的市场需求。
3. 成熟阶段:2024年,伴随着多模态技术的进步,模型能力不断突破。在过去两年中,主流框架以 Python 为主,但对于中国占比42.9%的 Java 开发者来说,他们面临的选择是:是转向Python开发,还是编写Java版的LangChain/LlamaIndex,或是基于 Spring 框架来构建AI应用?
—3—
Spring AI Alibaba 重磅发布
在生成式 AI 技术迅猛发展的推动下,利用 AI 开发框架构建 AI 应用的需求急剧上升,市场上涌现了如 LangChain、LlamaIndex 等众多开发框架,这些框架为 Python开 发者带来了便捷的 API 抽象。然而,对于国内那些习惯了Spring 开发模式的 Java 开发者来说,这些框架并不那么易于上手和使用。为此,我们推出了基于 Spring AI 的 Spring AI Alibaba,并通过提供便捷的 API 抽象,助力 Java 开发者轻松开发 AI 应用,从而迅速融入 AI 原生开发的时代。
阿里同时推出了一系列配套组件,旨在更全面地辅助 Java 开发者简化AI应用的开发流程。
Higress:作为一款 AI 网关,它支持多模型适配、流式输出、请求/Tokens 限流防护、长连接无损热更新,并实现了最小请求数负载均衡。此外,借助丰富的 AI 插件,Higress 能够帮助开发者无需编写代码即可构建 AI 应用,同时确保安全合规。
OTel:基于开源的 Open Telemetry Python SDK 进行扩展,我们发布了专用于 GenAI 应用的可观测探针。它能够自动收集大型模型在调用各阶段的数据,从而显著提升 LLM 应用的可观测性。
Apache RocketMQ:支持主动 POP 消费模式,具备自适应负载均衡和动态消费超时设置,能够适应不同计算资源需求的请求。它通过实时数据驱动 RAG架构,增强了系统的吞吐量和实时性。
Nacos Python SDK:提高了配置的灵活性,允许动态调整提示词模板、算法、相关度等参数。
这套开源矩阵融合了“自用、开源、商业”三重优势,特点如下:
- 在阿里巴巴内部经过大规模验证,由通义、PAI、百炼等团队长期优化。
- 拥有完整的生态和组件,全面覆盖应用开发的关键路径。
- 支持主流的大型模型,实现低代码甚至无代码的企业级 AI 应用构建。
- 与阿里云百炼、云原生应用开发平台 CAP 深度集成,实现即开即用。
Spring AI Alibaba 现已完整提供 Model、Prompt、RAG、Tools 等 AI 应用开发所需的核心能力,兼具低层次的提示词模板、函数调用、格式化输出抽象,以及高层次的 RAG、智能体、对话记忆抽象。
项目 Github 地址:https://github.com/alibaba/spring-ai-alibaba
—4—
Spring AI Alibaba 一图总结
—5—
国庆专场直播公开课
为了帮助同学们彻底掌握大模型的 RAG、向量数据库、Agent、微调等的应用开发、部署、生产化,国庆专场会开4场直播,请同学们点击以下预约按钮免费预约。
—6—
加我微信
有很多企业级落地实战案例,不方便公开发公众号,我会直接分享在朋友圈,欢迎你扫码加我个人微信来看👇
⬇戳”阅读原文“,立即预约!
END