【轻松掌握】使用Spring-AI轻松访问大模型&本地化部署并搭建UI界面访问指南

已于 2024-08-08 11:21:08 修改
阅读量2.4k 收藏 38
点赞数 26
分类专栏： 看这一篇就够了 学习笔记 AI 文章标签： spring 人工智能 java ollama lobechat AI
于 2024-08-06 23:08:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42874315/article/details/140967813
版权

文章目录

读前必看

通过本文你将学会

  • 快速上手Spring-AI：聊天、图像、音频翻译、文本转语音、多模态应用

  • Ollama本地部署：高效安装与使用大模型

  • Lobe Chat与WebUI：直观界面，轻松访问本地大模型

  • 本文示例代码仓库地址：https://github.com/ChenJiahao0205/Spring-AI-Learning

  • 快速使用

    • 快速搭建本地大模型并使用的方案：Ollama + Docker + Lobe Chat(安装加使用最多花费一个小时，跳到对应章节即可)

什么是Spring-AI

Spring Al是一个AI工程领域的应用程序框架
它的目标是将Spring生态系统的设计原则应用于于人工智能领域，比如Spring生态系统的可移植性和模块化设计，并推广使用POJO来构建人工智能领域应用程序;
Spring AI并不是要构建一个自己的AI大模型，而是让你对接各种AI大模型

官方文档：https://spring.io/projects/spring-ai#learn

Spring-AI文档：https://docs.spring.io/spring-ai/reference/1.0/getting-started.html

目前已支持的对接模型

在这里插入图片描述

https://spring.io/projects/spring-ai#overview

主要分类有聊天、文本到图像、嵌入式等

本文使用Spring-AI版本

本文使用的spring-ai版本为1.0.0-SNAPSHOT

构建项目

选择必要的依赖

在这里插入图片描述

配置系统变量

这里为了隐藏api-key和base-url细节，将他们配置到环境变量中了

在这里插入图片描述

聊天模型API

配置文件

在这里插入图片描述

方式1-使用默认配置

在这里插入图片描述

可以在配置文件指定模型(其他参数也可以在这里配置，例如温度等，参考官方文档https://docs.spring.io/spring-ai/reference/api/chat/openai-chat.html)

在这里插入图片描述

方式2-自定义配置

在这里插入图片描述

配置其他参数

在这里插入图片描述

使用示例

在这里插入图片描述

图像模型API

配置文件

在这里插入图片描述

方式1-使用默认配置

在这里插入图片描述

方式2-自定义配置

在这里插入图片描述

配置其他参数

在这里插入图片描述

使用示例

在这里插入图片描述

在这里插入图片描述

音频翻译文本模型API

https://www.bilibili.com/video/BV1d1421d7Fy?p=32

配置文件

在这里插入图片描述

使用默认配置

在这里插入图片描述

配置其他参数

在这里插入图片描述

使用示例

在这里插入图片描述

文本转语音模型API

使用默认配置

在这里插入图片描述

配置其他参数

在这里插入图片描述

使用示例

最低0.47元/天 解锁文章
Spring Boot + AI，真的有搞头吗？5大步骤带你轻松入门
java专栏
12-14 2022
通过本文的详细介绍，我们学会了如何在 Spring Boot 项目中集成 AI 功能，让你的应用更加智能和高效。希望这篇文章能帮助你在项目中实现类似的功能，让你的应用更加安全、可靠！😄如果你有任何问题或建议，欢迎在评论区留言交流！😊。
【云原生】Docker搭建开源翻译组件Deepl使用详解
热门推荐
congge
11-03 1万+
Docker搭建开源翻译组件Deepl使用详解
如何利用SpringAI接入大模型(OpenAI)
2303_76744126的博客
07-18 2626
大模型还可以支持function-call的功能,function-call的功能主要是针对大模型所不知道的实时的问题或者我们系统一些私有性的问题,这类问题调用OpenAI官方的大模型正常无法解决,所以OpenAI采用了function-call来解决这个无法回答即时性的问题和我们系统中一些私有性的一些问题。如果使用的是OpenAI官方的key,使用官方的调用地址既可,如果中转的key,调用地址需要改为中转的调用地址。接下来我们选择需要导入的依赖信息,导入Web依赖和OpenAI的依赖既可。
SpringAI集成本地AI大模型ollama（调用篇）非常简单！！
weixin_54925172的博客
05-13 8752
这里不做具体的代码深挖，只做基本基础的运用。后期有机会会出个人模型训练方法。流式调用的展示（我们跟ai聊天，回答不是一下子就出来的，就是这种流式调用所展示的这般）启动完成后，我们可以在cmd中执行ollama可以看到相关命令行。然后我们需要在这个ai中给它下载好一个已有模型给我们自己使用。直接下载到本地，然后启动ollama。将命令行运行即可下载。我们看看普通调用的展示。
【震撼重磅】Spring AI 2025爆发：5分钟实现AI革命，一行代码顶十个程序员！不学你就OUT了！
wxgzh_huiwen的博客
03-24 1419
大家好！近期AI技术发展如火如荼，各大框架争先恐后推出自己的AI集成方案。作为Java生态中的绝对霸主，Spring框架也早已布局AI领域，推出了Spring AI项目。随着2025年的到来，Spring AI迎来了重磅升级，让Java开发者也能轻松驾驭AI的力量！今天我就带大家深入了解Spring AI的最新特性、应用场景和实战案例，让你在这个AI爆发的时代不掉队！☕Spring AI的崛起为Java开发者带来了前所未有的机遇。
使用 Spring AI 调用本地 模型实现
秋元的博客
01-23 1321
本篇博客展示了如何使用 Spring AI 框架集成本地的 PyTorch 模型，并通过 Spring Boot 提供一个 Web 接口来进行预测。我们使用了 TorchScript 格式来将 PyTorch 模型转换为可在 Java 环境中使用的格式，并通过简单的 Spring 配置和控制器使其能够在 Web 应用中提供服务。希望这个示例对你集成和调用本地 PyTorch 模型有所帮助。如果你对 Spring AI 或 PyTorch 的其他集成有疑问，欢迎在评论区留言，我们一起讨论。
【大模型】Spring-AI 接入本地大模型 OLLAMA
weixin_33347188的博客
09-04 401
Spring-AI OLLAMA
Spring AI，调用OpenAI大模型接口，让ChatGPT给你讲笑话
namelessmyth的专栏
04-18 1930
SpringAI,ChatGPT,OpenAI接口
SpringAI基于API对大语言模型调用
沉浮
01-24 1191
SpringAI是一个专为AI工程设计的应用框架，旨在将Spring生态系统设计原则应用到AI领域。它支持多种AI模型，包括聊天、文生图、嵌入式模型等，并提供了同步和流式API。SpringAI的目标是简化AI应用的开发，让开发者能够更容易地定义自己的POJO来调用AI接口，进行训练和调用。通义千问是阿里巴巴推出的一款大型语言模型，具备强大的自然语言处理能力。它能够理解复杂的指令，进行逻辑推理，生成连贯的文本，并在多个领域表现出色。
使用SpringAI快速实现离线本地大模型应用
m0_74824755的博客
03-02 1082
大模型(LLM)，Large Language Model作为当前比较热门的技术，最近在年在各行各业中都得到了广泛的应用。在我们目前使用较多的AI产品中，几乎都是使用的互联网(云端)上的AI工具，即：需要先把数据传输给AI平台，由AI平台处理后，再将信息回馈到我们的本地应用。然而在许多领域，由于大模型的数据没有采集到更细化的信息，亦或者出于安全原因某些数据不能对外公开，这时使用离线大模型来实现信息的生成与检索则变得非常重要。很久没用Spring的我，最近看到Spring官网出了Spring AI。
JAVA【微服务】Spring AI 使用详解
C_V_Better的博客
02-25 2868
随着 ChatGPT 等大语言模型的火爆出圈，AI 技术的应用场景不断拓展，从智能客服到文本生成，从图像识别到语音转换，AI 正在改变我们的工作和生活方式。在这样的背景下，Spring AI 应运而生，旨在帮助开发者在 Spring 微服务架构中轻松集成 AI 功能，加速应用智能化转型。
spring Ai框架调用openai大模型简易demo
小哇
05-02 1045
需要科学上网，key没有官方的，就找中转的key。添加的依赖和仓库配置。
使用Spring AI调用AI模型
fzlhz的博客
03-27 95
Spring AI是Spring框架对人工智能和机器学习的支持模块,它提供了一套简单易用的API来集成各种AI服务和模型。主要功能集成主流AI模型服务(如OpenAI、Azure、 Baidu千帆等)提供统一的API接口支持提示词工程内置向量存储功能支持文本嵌入和文本生成核心概念AI Client统一的客户端接口,用于调用AI服务Prompt Template提示词模板系统,支持变量替换和格式化Vector Store向量数据存储,用于相似度搜索和文本匹配。
【随笔】使用spring AI接入大语言模型
code2cat的博客
08-29 2014
Spring AI是Spring生态系统中的一个模块，旨在帮助开发者集成重要的AI服务。通过Spring AI，开发者可以方便地与OpenAI、Hugging Face等AI服务进行交互。Spring AI提供了简单且强大的API，使得集成AI变得更加直观和高效。通过使用Spring AI，您可以轻松地将ChatGPT集成到Java应用中。本文详细介绍了从配置环境到集成和部署的全过程。在实际项目中，还可以根据需求进行进一步的优化和扩展，充分发挥AI技术的潜力。
Spring AI如何调用本地部署的大模型
最新发布
主要写大数据集群一线运维和学习工作经验
04-30 784
通过 Spring AI + Ollama，开发者能以低代码方式快速集成本地大模型，同时享受 Spring 生态的高并发、安全性和企业级维护能力。此方案适用于数据隐私敏感、需要离线部署或定制化微调的场景，如金融风控、医疗咨询等。
SpringAI使用
weixin_63164764的博客
06-27 1914
多模态是指模型同时理解和处理来自各种来源的信息的能力，包括文本、图像、i音频和其他数据格式。多模式大语言模型(LLM)特征使模型能够结合其他模态(如图像、音频或视频)来处理和生成文本。Spring Al 多模态API提供了所有必要的统一抽象和代码封装来支持多模式LLM;
Spring AI 调用 国产最强大模型 deepseek V3
whisperzzza的博客
02-10 1755
过去Java开发中缺乏统一的AI应用框架，开发者需要对接各种复杂的API接口。Spring AI是一个专为AI工程设计的Java应用框架。它将Spring生态的设计原则引入AI领域，提供了标准化的解决方案。一套统一的接口让开发者轻松切换不同的AI服务提供者。与Spring生态完美兼容，开发者无需改变原有开发习惯,同时与Java的面向对象编程无缝衔接，POJO成为核心构建块。开发者可以专注于业务逻辑，而不用纠结于繁琐的接口适配,Spring AI简化了AI能力的集成，提升了开发效率和代码可维护性。
SpringAI简单使用（本地模型+自定义知识库）
芊雨的博客
07-16 3385
Ollama是一个开源的大型语言模型服务工具，它允许用户在本地机器上构建和运行语言模型，提供了一个简单易用的API来创建、运行和管理模型，同时还提供了丰富的预构建模型库，这些模型可以轻松地应用在多种应用场景中。Ollama支持多种操作系统，包括macOS、Windows、Linux，并提供Docker镜像，方便用户在不同环境中部署使用。Ollama的特点包括轻量级和可扩展性，它允许用户通过命令行界面（CLI）或REST API与语言模型进行交互。
Spring AI Alibaba: 支持国产大模型的Spring ai框架
whisperzzza的博客
10-17 6048
Spring AI Alibaba是阿里巴巴推出的一个专注于人工智能应用开发的框架，它基于Spring生态系统构建，旨在简化AI应用程序的开发流程。同时，Spring AI也充分利用了Java面向对象编程的优势，允许开发者通过熟悉的编程模式来操作复杂的AI模型和算法，从而加速了从概念验证到生产环境的整个过程。此外，Spring AI与原有的Spring生态系统完美兼容，这意味着已经熟悉Spring框架的开发者可以无缝过渡到使用AI技术，无需学习全新的工具或语言。来测试这个聊天API。
springai接入deepseek教程
02-21
### SpringAI与DeepSeek集成教程 对于希望将SpringAI框架同DeepSeek模型相结合的应用场景而言，虽然官方并没有直接提供名为“SpringAI”的特定产品或库[^1]，可以推测提问者可能是指基于Spring生态系统的应用来调用或是部署像DeepSeek这样的大型语言模型。 #### 准备工作 为了实现两者的集成，开发者应当先熟悉Spring Boot的基础开发流程以及RESTful API的设计原则。与此同时，在准备阶段还需要获取到DeepSeek模型的服务端点地址或者是通过Hugging Face平台下载对应的预训练权重文件并搭建本地服务环境。 #### 创建Spring Boot项目 利用Spring Initializr快速创建一个新的Spring Boot工程，确保选中Web依赖项以便能够构建HTTP接口用于后续向DeepSeek发起请求： ```xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> ``` #### 配置访问DeepSeek服务 假设已经拥有了一个可以通过网络访问的DeepSeek实例，则可以在application.properties配置文件里定义该API的位置和其他必要的参数设置： ```properties deepseek.api.url=https://api.example.com/v1/models/deepseek:predict deepseek.api.key=your_api_key_here ``` 接着编写Java类封装对上述属性读取逻辑，并且构造出发送POST请求所需的数据结构体，通常情况下这会涉及到JSON格式的消息体传递给远程服务器处理。 #### 实现业务逻辑控制器 最后一步是在应用程序内部建立相应的Controller层组件负责接收前端传来的输入数据，经过简单校验之后转发至目标LLM执行推理任务；待收到响应后再解析返回结果反馈给客户端展示出来。 ```java @RestController @RequestMapping("/chat") public class ChatController { @Autowired private RestTemplate restTemplate; @Value("${deepseek.api.url}") private String apiUrl; @PostMapping("/ask") public ResponseEntity<String> askQuestion(@RequestBody Map<String, Object> payload){ HttpHeaders headers = new HttpHeaders(); headers.setContentType(MediaType.APPLICATION_JSON); HttpEntity<Map<String,Object>> entity = new HttpEntity<>(payload,headers); try{ ResponseEntity<String> response = restTemplate.postForEntity(apiUrl,entity,String.class); return response; }catch(Exception e){ log.error(e.getMessage()); return new ResponseEntity<>("Error occurred", HttpStatus.INTERNAL_SERVER_ERROR); } } } ``` 以上代码片段展示了如何在一个典型的Spring Web MVC架构下完成从接收入口到最后发出对外部微服务调用的整体链路设计思路。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五条Programmer

比心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值