【轻松掌握】使用Spring-AI轻松访问大模型&本地化部署并搭建UI界面访问指南

已于 2024-08-08 11:21:08 修改
阅读量1k 收藏 29
点赞数 25
分类专栏： 看这一篇就够了 学习笔记 AI 文章标签： spring 人工智能 java ollama lobechat AI
于 2024-08-06 23:08:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42874315/article/details/140967813
版权

文章目录

读前必看

通过本文你将学会

  • 快速上手Spring-AI：聊天、图像、音频翻译、文本转语音、多模态应用

  • Ollama本地部署：高效安装与使用大模型

  • Lobe Chat与WebUI：直观界面，轻松访问本地大模型

  • 本文示例代码仓库地址：https://github.com/ChenJiahao0205/Spring-AI-Learning

  • 快速使用

    • 快速搭建本地大模型并使用的方案：Ollama + Docker + Lobe Chat(安装加使用最多花费一个小时，跳到对应章节即可)

什么是Spring-AI

Spring Al是一个AI工程领域的应用程序框架
它的目标是将Spring生态系统的设计原则应用于于人工智能领域，比如Spring生态系统的可移植性和模块化设计，并推广使用POJO来构建人工智能领域应用程序;
Spring AI并不是要构建一个自己的AI大模型，而是让你对接各种AI大模型

官方文档：https://spring.io/projects/spring-ai#learn

Spring-AI文档：https://docs.spring.io/spring-ai/reference/1.0/getting-started.html

目前已支持的对接模型

在这里插入图片描述

https://spring.io/projects/spring-ai#overview

主要分类有聊天、文本到图像、嵌入式等

本文使用Spring-AI版本

本文使用的spring-ai版本为1.0.0-SNAPSHOT

构建项目

选择必要的依赖

在这里插入图片描述

配置系统变量

这里为了隐藏api-key和base-url细节，将他们配置到环境变量中了

在这里插入图片描述

聊天模型API

配置文件

在这里插入图片描述

方式1-使用默认配置

在这里插入图片描述

可以在配置文件指定模型(其他参数也可以在这里配置，例如温度等，参考官方文档https://docs.spring.io/spring-ai/reference/api/chat/openai-chat.html)

在这里插入图片描述

方式2-自定义配置

在这里插入图片描述

配置其他参数

在这里插入图片描述

使用示例

在这里插入图片描述

图像模型API

配置文件

在这里插入图片描述

方式1-使用默认配置

在这里插入图片描述

方式2-自定义配置

在这里插入图片描述

配置其他参数

在这里插入图片描述

使用示例

在这里插入图片描述

在这里插入图片描述

音频翻译文本模型API

https://www.bilibili.com/video/BV1d1421d7Fy?p=32

配置文件

在这里插入图片描述

使用默认配置

在这里插入图片描述

配置其他参数

在这里插入图片描述

使用示例

在这里插入图片描述

文本转语音模型API

使用默认配置

在这里插入图片描述

配置其他参数

在这里插入图片描述

使用示例

在这里插入图片描述

SpringAI多模态API

例如：提问的时候附带以上图片，参考图片回答问题

方式1-读取本地图片，附带文本需求

在这里插入图片描述

方式2-传入图片URL地址

在这里插入图片描述

使用示例

在这里插入图片描述

在这里插入图片描述

大模型工具Ollama

官方网站

https://ollama.com/

配置要求

  • 运行一个7B(70亿参数)模型，至少需要8G内存
  • 13B(130亿参数)的模型至少需要16B的内存
  • 33B(330亿参数)的模型至少需要32G的内存

在磁盘至少要预留50G

下载安装

在这里插入图片描述

可用的大模型

https://ollama.com/library

在这里插入图片描述

搜索模型

在这里插入图片描述

选择版本

在这里插入图片描述

复制右边代码到控制台执行即可

自定义模型安装位置

在这里插入图片描述

安装阿里千问

安装qwen:0.5b模型

在这里插入图片描述

测试

在这里插入图片描述

使用Spring-AI访问Ollama模型

访问模型端口获取

Ollama api会监听11434端口

windows查看端口：netstat -ano | findstr 11434

在这里插入图片描述

在这里插入图片描述

代码中访问11434端口即可

构建项目-选择必要的依赖

这里不选择OpenAI了，选择Ollama

在这里插入图片描述

在这里插入图片描述

配置文件

在这里插入图片描述

使用默认配置访问

在这里插入图片描述

出现报错

在这里插入图片描述

默认使用的mistral模型，我们下载的qwen:0.5b模型，所以报错了

解决方案

  • 方案1：下载mistral模型(太大了，这里先不下载了)
  • 方案2：指定模型

这里采用方案2解决

修改配置文件

在这里插入图片描述

使用示例

在这里插入图片描述

Ollama的Web&Desktop

Open WebUI

Open WebUI 官网：https://www.openwebui.com/

部署Open WebUI的两种方式

  • 方式1：Docker（官方推荐）
  • 方式2 ：源码安装
    • https://docs.openwebui.com/getting-started/#install-from-open-webui-github-repo

安装Docker

Windows下使用Docker的工具Docker Desktop

下载地址：https://www.docker.com/products/docker-desktop/

在这里插入图片描述

Docker部署Open WebUI

https://docs.openwebui.com/getting-started/#installation-with-default-configuration

在这里插入图片描述

安装Open WebUI命令

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v D:\Docker\open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在这里插入图片描述

docker数据会同步保存在本地磁盘的该位置

执行命令

在这里插入图片描述

下载完成

在这里插入图片描述

启动

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v D:\Docker\open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在这里插入图片描述

访问Open WebUI

我们通过3000端口映射的8080

http://localhost:3000/

在这里插入图片描述

进入到主页面

在这里插入图片描述

设置模型

在这里插入图片描述

演示

在这里插入图片描述

Lobe Chat界面框架

官网：https://lobehub.com

一件免费拥有自己的ChatGPT/Gemini/claude/ollama应用

部署方式

https://github.com/lobehub/lobe-chat/blob/main/README.zh-CN.md#-%E5%BC%80%E7%AE%B1%E5%8D%B3%E7%94%A8

完整部署教程：https://lobehub.com/zh/docs/self-hosting/start

使用Docker部署

命令
docker run -d -p 3210:3210 -e OPENAI_API_KEY=sk-xxxx -e ACCESS_CODE=lobe66 --name lobe-chat lobehub/lobe-chat


$ docker run -d -p 3210:3210 
  -e OPENAI_API_KEY=sk-xxxx 
  -e OPENAI_PROXY_URL=https://api-proxy.com/v1 
  -e ACCESS_CODE=lobe66 
  --name lobe-chat 
  lobehub/lobe-chat

OPENAI_API_KEY=目前可以先随便填充一个，后面再UI界面设置

在这里插入图片描述

拉取镜像

在这里插入图片描述

访问LobeHub

http://localhost:3210

在这里插入图片描述

设置API-KEY

在这里插入图片描述

再次访问

在这里插入图片描述

Lobe Chat助手

添加一个助手

在这里插入图片描述

使用助手

在这里插入图片描述

Lobe Chat使用Ollama

在这里插入图片描述

使用本地安装的大模型qwen:0.5b

在这里插入图片描述

下载gemma:2b使用

在这里插入图片描述

在这里插入图片描述

大模型的选择

大模型排行榜：https://www.superclueai.com/

示例代码仓库

https://gitee.com/chenjiahao0205/spring-ai-learning

在这里插入图片描述

使用大模型给本文起个标题

在这里插入图片描述

常见问题

Spring-AI访问响应对象转换报错

org.springframework.web.client.RestClientException: Error while extracting response for type [org.springframework.ai.openai.api.OpenAiApi$EmbeddingList<org.springframework.ai.openai.api.OpenAiApi$Embedding>] and content type [application/json;charset=utf-8]

在这里插入图片描述

解决方案

项目中添加该依赖

<dependency>
    <groupId>org.apache.httpcomponents.client5</groupId>
    <artifactId>httpclient5</artifactId>
    <version>5.2.1</version>
</dependency>

参考原文

https://stackoverflow.com/questions/78121525/spring-ai-openai-error-extracting-response-of-type-openaiapiembeddinglist

镜像拉取问题

在这里插入图片描述

退出登录

在这里插入图片描述

重新登录

在这里插入图片描述

问题解决

在这里插入图片描述

最后

本文结合B站视频学习总结得到，参考视频：https://www.bilibili.com/video/BV1d1421d7Fy/

感谢大家看到这里，文章如有不足，欢迎大家指出；彦祖点个赞吧彦祖点个赞吧彦祖点个赞吧，欢迎关注程序员五条！

五条Programmer
关注
专栏目录
【ChatGLM】基于 ChatGLM-6B + langchain 实现本地化知识库检索与智能答案生成: 中文 LangChain 项目的实现开源工作
程序员光剑
05-21 6万+
陈光剑简介：著有《ClickHouse入门、实战与进阶》（即将上架）《Kotlin 极简教程》《Spring Boot开发实战》《Kotlin从入门到进阶实战》等技术书籍。资深程序员、大数据与后端技术专家、架构师，拥有超过10年的技术研发和管理经验。现就职于字节跳动，曾就职于阿里巴巴，主要从事企业智能数字化经营管理、电商智能数字化运营等系统架构设计和研发工作。在大数据和企业级系统架构领域有非常深厚的积累，擅长大数据系统架构和分布式系统架构设计开发。
Ollama和Spring AI上使用本地AI/LLM查询图像数据库
wjianwei666的专栏
08-02 76
AIDocumentLibraryChat项目的功能已经扩展到可以查询图像的图像数据库。它使用了可以分析图像的Ollama的LLava模型。图像搜索功能利用PostgreSQL的PGVector扩展来处理嵌入（Embeddings）。
SpringAI集成本地AI大模型ollama（调用篇）非常简单！！
weixin_54925172的博客
05-13 3817
这里不做具体的代码深挖，只做基本基础的运用。后期有机会会出个人模型训练方法。流式调用的展示（我们跟ai聊天，回答不是一下子就出来的，就是这种流式调用所展示的这般）启动完成后，我们可以在cmd中执行ollama可以看到相关命令行。然后我们需要在这个ai中给它下载好一个已有模型给我们自己使用。直接下载到本地，然后启动ollama。将命令行运行即可下载。我们看看普通调用的展示。
Spring AI，调用OpenAI大模型接口，让ChatGPT给你讲笑话
namelessmyth的专栏
04-18 1470
SpringAI,ChatGPT,OpenAI接口
【随笔】使用spring AI接入大语言模型
最新发布
code2cat的博客
08-29 1426
Spring AI是Spring生态系统中的一个模块，旨在帮助开发者集成重要的AI服务。通过Spring AI，开发者可以方便地与OpenAI、Hugging Face等AI服务进行交互。Spring AI提供了简单且强大的API，使得集成AI变得更加直观和高效。通过使用Spring AI，您可以轻松地将ChatGPT集成到Java应用中。本文详细介绍了从配置环境到集成和部署的全过程。在实际项目中，还可以根据需求进行进一步的优化和扩展，充分发挥AI技术的潜力。
springAi使用教程
行东的bug博客笔记
05-24 657
环境版本号java 17。
Spring AI 使用教程
My_wife_QBL的博客
04-25 1707
Spring AI提供了丰富的自然语言处理（NLP）工具，开发人员可以利用这些工具来处理文本数据、执行情感分析、实现语音识别等功能，为开发语言处理应用提供了强大的支持。Spring AI的核心特性包括跨AI提供商的API支持，提供了一套可移植的API，支持与多个AI服务提供商的聊天、文本到图像和嵌入模型进行交互。综上所述，Spring AI是一个功能强大、易于使用的人工智能应用框架，为Java开发者提供了与人工智能交互的便捷方式，并简化了AI应用的开发过程。创建成功后可以复制请求的api-key。
【大模型部署及其应用 】使用 Ollama 和 Ollama WebUI 在本地运行 Llama 3
源代码杀手的博客
08-16 367
目录Meta（前身为 Facebook）刚刚Llama 3，这是一个突破性的大型语言模型 (LLM)，有望突破 AI 所能实现的极限。令人兴奋的消息是什么？它现在可以通过开源平台 Ollama 获得！
未来已来：LLMops如何重塑AI-native新范式的运维格局[行业范式]、以及主流LLMops推荐
丨汀、的博客
07-22 855
未来已来：LLMops如何重塑AI-native新范式的运维格局[行业范式]、以及主流LLMops推荐
使用 Spring Boot Admin 管理和监控 Spring Boot 应用程序
程序员光剑
08-05 1602
Spring Boot 是一款开源框架，它让初学者能够快速地开发出基于 Spring 框架的应用程序。在过去的一年中，Spring Boot 在 GitHub 上持续活跃，在全球范围内取得了令人瞩目的数据，获得了大量关注。目前，Spring Boot 的版本号已经从 2.x 发展到了 2.5.x、2.6.x 和 2.7.x。
总结之Spring AI（一）——使用Spring AI
IManiy的博客
06-12 2001
当前各种AI项目层出不穷，但绝大多数都是用python写的，现在Spring开源了Spring AI项目，让Java开发者也可以轻松给自己的springboot项目集成AI能力。目前spring AI正式版本为0.8.1，支持接入openAI、Ollama、Azure openAI、Huggingface等，可实现聊天、embedding、图片生成、语音转文字、向量数据库、function calling、prompt模板、outputparser、RAG等功能，就像Java版本的langchain。
SpringAI简单使用（本地模型+自定义知识库）
芊雨的博客
07-16 1165
Ollama是一个开源的大型语言模型服务工具，它允许用户在本地机器上构建和运行语言模型，提供了一个简单易用的API来创建、运行和管理模型，同时还提供了丰富的预构建模型库，这些模型可以轻松地应用在多种应用场景中。Ollama支持多种操作系统，包括macOS、Windows、Linux，并提供Docker镜像，方便用户在不同环境中部署使用。Ollama的特点包括轻量级和可扩展性，它允许用户通过命令行界面（CLI）或REST API与语言模型进行交互。
如何利用SpringAI接入大模型(OpenAI)
2303_76744126的博客
07-18 1426
大模型还可以支持function-call的功能,function-call的功能主要是针对大模型所不知道的实时的问题或者我们系统一些私有性的问题,这类问题调用OpenAI官方的大模型正常无法解决,所以OpenAI采用了function-call来解决这个无法回答即时性的问题和我们系统中一些私有性的一些问题。如果使用的是OpenAI官方的key,使用官方的调用地址既可,如果中转的key,调用地址需要改为中转的调用地址。接下来我们选择需要导入的依赖信息,导入Web依赖和OpenAI的依赖既可。
10分钟接入AI大模型—Spring Cloud Alibaba
qq_17153885的博客
08-01 1620
AI大模型的发展迅速，成为全球科技竞争的新高地，具有极大的发展潜力和广泛的应用前景。
Springai入门
qq_62377885的博客
05-07 2715
在JavaScript中，prompt()函数用于显示一个包含文本消息和一个输入框的对话框，并等待用户输入信息。message：要显示给用户的消息文本，通常是一个提示用户输入信息的文本。defaultValue：可选参数，表示输入框中的默认值。用户可以在输入框中输入信息，然后点击确定按钮以提交信息。prompt()函数将返回用户输入的内容作为字符串。如果用户点击取消按钮，则返回null。通常，开发人员会将返回值存储在变量中，以便后续使用。
Spring AI项目Open AI绘画开发指导
缘友一世的博客
05-13 1223
Spring AI 是 AI 工程的应用框架。其目标是将 Spring 生态系统设计原则（如可移植性和模块化设计）应用于 AI，并推广使用 POJO 作为 AI 领域应用程序的构建块。特征：跨AI 提供商的可移植 API 支持，适用于聊天、文本到图像和嵌入模型。支持同步和流 API 选项。还支持下拉以访问特定于模型的功能。
Spring AI 使用本地 Ollama Embeddings
偶尔记一下 - mybatis.io
04-02 4645
通过 Ollama 的扩展方式，还可以方便我们导入官方仓库不存在的其他模型，后续文章会以。使用 OpenAI 的 Embeddings 接口是有费用的，如果想对大量文档进行测试，使用本地部署的 Embeddings 就能省去大量的费用，所以我们尝试使用本地的 Ollama Embeddings。这个模型包含几个不同的版本，默认为 7b 的版本，可以先试试 7b，如果速度太慢可以换 2b 试试，执行命令。中的参数即可使用其他模型，如果本地下载过 llama2 模型，就可以直接改这里的参数，不需要重新执行。
Spring AI - 使用向量数据库实现检索式AI对话
qq_41481367的博客
02-07 4344
Spring AI 并不仅限于针对大语言模型对话API进行了统一封装，它还可以通过简单的方式实现LangChain的一些功能。本篇将带领读者实现一个简单的检索式AI对话接口。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五条Programmer

比心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值