Spring AI Alibaba 让 Java 开发者一步迈入 AI 原生时代!

国庆专场直播预约保你有收获

1

Spring AI Alibaba 推出背景

在生成式 AI 技术迅猛发展的背景下,针对 AI 应用开发的需求日益旺盛,市场上涌现了,比如:LangChain、LlamaIndex 等众多开发框架。然而,这些框架大多仅支持 Python 语言,这对于习惯使用 Spring 框架进行开发的国内Java 程序员来说,并不是那么亲切和便捷。

鉴于此,阿里推出了基于 Spring AI 的 Spring AI Alibaba,旨在通过便捷的API 抽象,助力 Java 开发者轻松构建 AI 应用。同时,我们还提供了全面的开源支持,涵盖可观测监控、网关、消息队列、配置中心等全方位功能。

524c5e76503f9ef71106bb7e2173eabf.png

2

AI 应用框架发展趋势

第一、应用程序架构的发展趋势

应用程序架构经历了从单体架构到 LAMP 架构,再到 SOA架构、微服务架构,最终发展到云原生架构的演变。在下面的图中,左侧展示了一个典型的云原生应用架构,它集成了容器技术、微服务架构和声明式 API。在这个架构中,微服务根据业务模块的需求进行了拆分,并对架构进行了无状态化改造,将数据存储任务交由数据库处理;微服务在容器中运行,实现了按需伸缩,极大地提升了研发效率和运维能力。

62ce83aff17e05fd19a4692cb5090d32.png

在上图右侧展示的 AI 原生应用架构中,构建的核心是大模型(作为“大脑”)和Agent 驱动(作为“手脚”)。该架构下的 Agent 遵循以下三个设计原则

1. API优先,促进开放合作:以 OpenAI 为例,作为全球最大的 API 销售公司,它通过 API 迅速构建了其生态系统和收入来源,推动了创新的步伐。大模型企业无一例外地通过 API 向外界提供服务。

2. 事件驱动,增强处理能力:与传统的应用程序不同,大模型处理速度较慢,长时间保持连接的流式推送消耗较大资源,因此采用消息解耦的方式来提升系统的吞吐量。

3. AIOps,一键式诊断:相较于传统应用,大型模型的失败率更高,问题定位更为困难,因此需要更先进、智能的诊断工具来实现快速问题定位。

第二、AI Agent 框架的发展趋势

AI Agent 的发展历程可以概括为以下三个阶段:

e6a306028484a7d02813d730c20ab12d.png

1. 初期阶段:2022年,ChatGPT 3.0的问世震撼了全球,尽管当时存在数据幻觉、数据质量以及数据格式等诸多问题,但不久后,行业推出了 LangChain 来应对这些挑战。然而,随着大模型能力的增强,原有的问题逐渐得到改善。不过,由于大型模型更新迭代快速,LangChain 的过度封装并未有效减少工程师的编码工作,反而增加了系统的复杂性。

2. 发展阶段:2023年,随着 ChatGPT 4.0、LIama 3.0、Qwen 2.5等新大模型的推出,大模型性能得到了显著提升,早期提示词的作用逐渐减弱。LlamaIndex 因其更为简洁的架构抽象,更贴合当时的市场需求。

3. 成熟阶段:2024年,伴随着多模态技术的进步,模型能力不断突破。在过去两年中,主流框架以 Python 为主,但对于中国占比42.9%的 Java 开发者来说,他们面临的选择是:是转向Python开发,还是编写Java版的LangChain/LlamaIndex,或是基于 Spring 框架来构建AI应用?

 3

Spring AI Alibaba 重磅发布

在生成式 AI 技术迅猛发展的推动下,利用 AI 开发框架构建 AI 应用的需求急剧上升,市场上涌现了如 LangChain、LlamaIndex 等众多开发框架,这些框架为 Python开 发者带来了便捷的 API 抽象。然而,对于国内那些习惯了Spring 开发模式的 Java 开发者来说,这些框架并不那么易于上手和使用。为此,我们推出了基于 Spring AI 的 Spring AI Alibaba,并通过提供便捷的 API 抽象,助力 Java 开发者轻松开发 AI 应用,从而迅速融入 AI 原生开发的时代。

af93176ea77819e6247bf40fb88f7e58.png

阿里同时推出了一系列配套组件,旨在更全面地辅助 Java 开发者简化AI应用的开发流程。

Higress:作为一款 AI 网关,它支持多模型适配、流式输出、请求/Tokens 限流防护、长连接无损热更新,并实现了最小请求数负载均衡。此外,借助丰富的 AI 插件,Higress 能够帮助开发者无需编写代码即可构建 AI 应用,同时确保安全合规。

OTel:基于开源的 Open Telemetry Python SDK 进行扩展,我们发布了专用于 GenAI 应用的可观测探针。它能够自动收集大型模型在调用各阶段的数据,从而显著提升 LLM 应用的可观测性。

Apache RocketMQ:支持主动 POP 消费模式,具备自适应负载均衡和动态消费超时设置,能够适应不同计算资源需求的请求。它通过实时数据驱动 RAG架构,增强了系统的吞吐量和实时性。

Nacos Python SDK:提高了配置的灵活性,允许动态调整提示词模板、算法、相关度等参数。

这套开源矩阵融合了“自用、开源、商业”三重优势,特点如下:

- 在阿里巴巴内部经过大规模验证,由通义、PAI、百炼等团队长期优化。

- 拥有完整的生态和组件,全面覆盖应用开发的关键路径。

- 支持主流的大型模型,实现低代码甚至无代码的企业级 AI 应用构建。

- 与阿里云百炼、云原生应用开发平台 CAP 深度集成,实现即开即用。

Spring AI Alibaba 现已完整提供 Model、Prompt、RAG、Tools 等 AI 应用开发所需的核心能力,兼具低层次的提示词模板、函数调用、格式化输出抽象,以及高层次的 RAG、智能体、对话记忆抽象。

项目 Github 地址:https://github.com/alibaba/spring-ai-alibaba

 4

Spring AI Alibaba 一图总结

baf629f4d28464313f7f3bdb028e5bec.png

5

国庆专场直播公开课

为了帮助同学们彻底掌握大模型的 RAG、向量数据库、Agent、微调等的应用开发、部署、生产化,国庆专场会开4场直播,请同学们点击以下预约按钮免费预约

6

加我微信

有很多企业级落地实战案例,不方便公开发公众号,我会直接分享在朋友圈欢迎你扫码加我个人微信来看👇

2c943c8d770c44f03a22d917b776e2aa.jpeg

⬇戳”阅读原文“,立即预约!

END

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值