springAI结合ollama简单实现

已于 2024-08-21 10:52:48 修改
阅读量1.2k 收藏 25
点赞数 11
文章标签： ai spring boot
于 2024-08-21 10:34:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/var200/article/details/141380717
版权

一、ollama安装下载

1、官方下载地址

https://ollama.com/

2、修改模型的安装地址

Ollama的模型会占用较大的磁盘空间，默认会在C盘用户文件夹下的.ollama/models文件夹中，可以配置环境变量OLLAMA_MODELS，设置为指定的路径：
在这里插入图片描述

3、模型参考

https://ollama.com/library

下载命令：

# 电脑性能好的可以装一个高版本的，例如4b、7b等
ollama run qwen:0.5b

# 查看已安装的模型
ollama list

二、springAI的使用

1、环境准备

jdk17、springboot3.0+

2、添加依赖

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
这里贴出完整pom：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>3.3.2</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.example</groupId>
    <artifactId>ollamaTest</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>spring-ai-ollama</name>
    <description>spring-ai-ollama</description>
    <properties>
        <java.version>17</java.version>
        <!--        快照版本-->
        <spring-ai.version>1.0.0-SNAPSHOT</spring-ai.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-devtools</artifactId>
            <scope>runtime</scope>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>
    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>org.springframework.ai</groupId>
                <artifactId>spring-ai-bom</artifactId>
                <version>${spring-ai.version}</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <configuration>
                    <excludes>
                        <exclude>
                            <groupId>org.projectlombok</groupId>
                            <artifactId>lombok</artifactId>
                        </exclude>
                    </excludes>
                </configuration>
            </plugin>
        </plugins>
    </build>
    <!--    快照版本-->
    <repositories>
        <repository>
            <id>spring-snapshot</id>
            <name>Spring Snapshots</name>
            <url>https://repo.spring.io/snapshot</url>
            <releases>
                <enabled>false</enabled>
            </releases>
        </repository>
    </repositories>
</project>

3、编写一个公共的调用组件

/**
 * 存入上下文信息，并调用接口进行聊天
 */
@Component
public class Completion {
    @Resource
    private OllamaChatModel aiClient;

    /**
     * 最大消息记录数
     */
    private final static Integer MAX_SIZE = 10;

    /**
     * 消息记录
     */
    private List<Message> messages = new ArrayList<>();


    /**
     * 初始化存入系统消息
     */
    @PostConstruct
    private void addSystemMessage() {
        String message = "李白（701年2月28日—762年12月），字太白，号青莲居士，出生于蜀郡绵州昌隆县（今四川省绵阳市江油市青莲镇），一说出生于西域碎叶 ，祖籍陇西成纪（今甘肃省秦安县）。唐朝伟大的浪漫主义诗人，凉武昭王李暠九世孙 。" +
                "为人爽朗大方，乐于交友，爱好饮酒作诗，名列“酒中八仙” 。曾经得到唐玄宗李隆基赏识，担任翰林供奉，赐金放还后，游历全国，先后迎娶宰相许圉师、宗楚客的孙女。唐肃宗李亨即位后，卷入永王之乱，流放夜郎，辗转到达当涂县令李阳冰家。上元二年，去世，时年六十二 。" +
                "著有《李太白集》，代表作有《望庐山瀑布》《行路难》《蜀道难》《将进酒》《早发白帝城》《黄鹤楼送孟浩然之广陵》等。李白所作词赋，就其开创意义及艺术成就而言，享有极为崇高的地位，后世誉为“诗仙”，与诗圣杜甫并称“李杜”。";
        Message systemMessage = new SystemMessage(message);
        messages.add(systemMessage);
    }

    /**
     * 存储用户发送的消息
     */
    private void addUserMessage(String message) {
        Message userMessage = new UserMessage(message);
        messages.add(userMessage);
    }

    /**
     * 存储AI回复的消息
     */
    private void addAssistantMessage(String message) {
        Message assistantMessage = new AssistantMessage(message);
        messages.add(assistantMessage);
    }

    /**
     * 聊天接口
     */
    public String chat(String message) {
        addUserMessage(message);
        String result = aiClient.call(new Prompt(messages)).getResult().getOutput().getContent();
        addAssistantMessage(result);
        update();
        return result;
    }

    /**
     * 流式聊天接口
     */
    public Flux<String> chatStream(String message) {
        addUserMessage(message);

        StringBuffer fullReply = new StringBuffer();

        Flux<String> fluxResult = aiClient.stream(new Prompt(messages))
                .flatMap(response -> {
                    String reply = response.getResult().getOutput().getContent();

                    //拼接回复内容
                    fullReply.append(reply);

                    return Flux.just(reply);
                })
                .doOnComplete(() -> {
                    //监听流式响应完成，完整回复存入消息记录
                    System.out.println(fullReply);
                    addAssistantMessage(String.valueOf(fullReply));
                });

        update();
        return fluxResult;
    }

    /**
     * 更新消息记录
     */
    private void update() {
        if (messages.size() > MAX_SIZE) {
            messages = messages.subList(messages.size() - MAX_SIZE, messages.size());
        }
    }
}

4、调用接口

@RestController
@RequestMapping("/ollama")
public class OllamaController {

    @Resource
    private OllamaChatModel ollamaChatModel;

    /**
     * 简单调用
     */
    @PostMapping(value = "/ai/ask")
    public Object ask(String msg) {
        String called = ollamaChatModel.call(msg);
        System.out.println(called);
        return called;
    }

    /***
     * 流式方式
     */
    @PostMapping(value = "/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> stream(String msg) {
        return ollamaChatModel.stream(msg).flatMapSequential(Flux::just);
    }

    private final Completion completion;

    public OllamaController(Completion completion) {
        this.completion = completion;
    }

    /**
     * 分析上下文聊天
     */
    @PostMapping("/chat")
    public String chat(String message) {
        return completion.chat(message);
    }

    /**
     * 流式上下文
     */
    @PostMapping(value = "/chatStream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> chatStream(@RequestBody String message) {
        return completion.chatStream(message);
    }
}

5、测试调用

在这里插入图片描述

6、前端使用fetch处理流式数据

<!DOCTYPE html>
<html>
	<head>
		<meta name="viewport" content="width=device-width, initial-scale=1.0">
		<title>Test Page</title>
	</head>
	<body>
		<input type="text" id="inputData">
		<button onclick="sendRequest()">发送</button>
		<div id="output"></div>
		<script>
			const s = document.getElementById('output'); //获取元素ID
			
			function sendRequest(msg) {
				const inputData = document.getElementById('inputData').value;
				
				s.innerText += (inputData + "\n");

				// 发送 POST 请求
				fetch('http://localhost:8088/ollama/chatStream', {
					method: "POST",
					body: JSON.stringify({
						"message": inputData
					}),
					timeout: 0,
					dataType: "text/event-stream",
					headers: {
						"Content-Type": "application/json"
					},
				}).then(response => {
					// 检查响应是否成功
					if (!response.ok) {
						throw new Error('Network response was not ok');
					}
					// 返回一个可读流
					return response.body;
				}).then(body => {
					const reader = body.getReader();
					// 读取数据流
					function read() {
						return reader.read().then(({
							done,
							value
						}) => {
							// 检查是否读取完毕
							if (done) {
								console.log('已传输完毕');
								s.innerText += "\n";
								return;
							}
							// 处理每个数据块
							// console.log('收到的数据:', value);
							let data = new TextDecoder().decode(value);
						    
							//处理data:字样，格式化流数据
							s.innerText += data.replace(/data:/g, "").replace(/\n/g, "");;

							// 继续读取下一个数据块
							read();
						});
					}
					// 开始读取数据流
					read();
				}).catch(error => {
					console.error('Fetch error:', error);
				});
			}
		</script>
	</body>

</html>

在这里插入图片描述

Mr.var
关注
SpringAI如何集成Ollama开发AI应用
program哲学
04-03 1941
详细介绍SpringAI如何集成Ollama开发AI 大模型应用
Spring AI + ollama + qwen 示例项目-流式、非流式输出
04-09
Spring AI + ollama + qwen 示例项目-流式、非流式输出 Spring AI与Ollama和Qwen的结合，是一个创新的示例项目，旨在展示如何在Spring框架中实现流式和非流式输出的集成。这个项目通过整合Ollama的数据处理能力和Qwen的响应生成机制，为用户提供了一个高效、灵活的解决方案，以满足不同场景下的数据交互需求。 在流式输出方面，项目利用了Spring框架的响应式编程特性，允许数据以连续的流形式进行处理和传输。这种方式特别适合处理大量数据或实时数据流，因为它可以有效地管理内存使用，同时保持应用的响应性。通过这种方式，用户可以实时接收和处理数据，而不会因为数据量大而导致系统崩溃或响应缓慢。 对于非流式输出，项目则采用了传统的请求-响应模型。在这种模式下，客户端发送一个请求，服务器处理请求后返回一个完整的响应。这种模式适用于不需要实时交互的场景，可以确保数据的完整性和一致性。 通过这个示例项目，开发者可以学习到如何在Spring框架中根据实际需求选择和实现流式或非流式输出。这不仅增强了对Spring框架的理解，也为构建高效、可靠的数据交互应用提供了
SpringAI集成本地AI大模型ollama（调用篇）非常简单！！
weixin_54925172的博客
05-13 4125
这里不做具体的代码深挖，只做基本基础的运用。后期有机会会出个人模型训练方法。流式调用的展示（我们跟ai聊天，回答不是一下子就出来的，就是这种流式调用所展示的这般）启动完成后，我们可以在cmd中执行ollama可以看到相关命令行。然后我们需要在这个ai中给它下载好一个已有模型给我们自己使用。直接下载到本地，然后启动ollama。将命令行运行即可下载。我们看看普通调用的展示。
spring Ai框架整合Ollama，调用本地大模型
小哇
05-02 1792
Ollama是一个用于在本地计算机上运行大模型的软件软件运行后端口，自己写的程序要调大模型就用这个端口ollama list：显示模型列表ollama show：显示模型的信息ollama pull：拉取模型ollama push：推送模型ollama cp：拷贝一个模型ollama rm：删除一个模型ollama run：运行一个模型。
Spring AI 利用 ollama:qwen:7b 和 pgvector 创新实现高效 RAG 问答系统
m0_63171455的博客
08-18 1063
了解完嵌入模型、向量数据库相关知识后，在此基础上可以实现一个RAG本地问答系统。
Spring AI 与 Ollama 的协同作用：利用 LLM 转变本地 AI 交互
php源码
07-29 1004
即使在当今时代，Java 和 Spring 仍引领着大多数开发社区，而 Python 则是 AI 领域（机器学习或生成式 AI）的主要武器。如果 Java 开发人员不愿意使用 Python，他们该如何利用或使用 LLM？这就是 Spring AI 弥补差距的地方。当我阅读 Spring AI 门户时，我更想做的是创建 Spring 应用程序和可以在本地运行的 LLM 之间的集成。这让所有 Java 开发人员都能够开发 AI 驱动的应用程序。
Spring AI与大模型Ollama如何集成整合？
极道Jdon的技术博客
03-04 2723
这两种方法的操作方式都是获取一个 Payload 对象（该对象封装了要嵌入的字符串），并以不同的格式返回嵌入结果--在 getEmbeddingsWithModelOverride 的情况下直接返回 EmbeddingResponse，而在 getEmbeddingsWithDefaultModel 的情况下返回一个包含 EmbeddingResponse 的映射。借助 Ollama 在本地运行 LLM 的能力，开发人员可以对人工智能驱动的功能获得前所未有的控制力和灵活性，确保数据隐私并减少延迟。
SpringAI 整合 Ollama 大语言模型实践
郁夜的博客
04-22 1775
SpringAI 整合 Ollama 大语言模型实践
Spring AI和Ollama
最新发布
顺其自然~专栏
08-22 38
Spring AI不仅提供了与 OpenAI 进行API交互，同样支持与 Ollama 进行API交互。Ollama 是一个发布在GitHub上的项目，专为运行、创建和分享大型语言模型而设计，可以轻松地在本地启动和运行大型语言模型。
超级详细Spring AI运用Ollama大模型
爱吃Java的羊的博客
06-05 3716
官网:https://ollama.com/Ollama是一个用于部署和运行各种开源大模型的工具;它能够帮助用户快速在本地运行各种大模型，极大地简化了大模型在本地运行的过程。用户通过执行几条命令就能在本地运行开源大模型，如Lama 2等;综上，Ollama是一个大模型部署运行工具，在该工具里面可以部署运行各种大模型，方便开发者在本地搭建一套大模型运行环境;下载:https://ollama.com/download说明:Ollama的运行会受到所使用模型大小的影响;
Ollama和Spring AI上使用本地AI/LLM查询图像数据库
wjianwei666的专栏
08-02 103
AIDocumentLibraryChat项目的功能已经扩展到可以查询图像的图像数据库。它使用了可以分析图像的Ollama的LLava模型。图像搜索功能利用PostgreSQL的PGVector扩展来处理嵌入（Embeddings）。
第五章 Spring AI 集成Ollama，与qwen进行交流。看这一篇就够了
liujianming的博客
04-08 1747
Python 是进入人工智能领域（认为是机器学习或生成人工智能AIGC）的主要武器，Java 和 Spring 仍引领着大多数开发社区， Java 开发人员如何与 LLM大模型 一起工作？这就是 Spring AI 弥补差距的地方。Spring AI在 Spring 应用程序和可以在本地运行的 LLM 之间创建集成，这为所有 Java 开发人员提供了开发人工智能应用程序的能力。在本文中，我们将了解如何使用 Ollama 在本地运行大模型，我们将考虑四个方面。
springAI
weixin_45086164的博客
05-13 996
springAI
Spring AI项目Open AI绘画开发指导
缘友一世的博客
05-13 1235
Spring AI 是 AI 工程的应用框架。其目标是将 Spring 生态系统设计原则（如可移植性和模块化设计）应用于 AI，并推广使用 POJO 作为 AI 领域应用程序的构建块。特征：跨AI 提供商的可移植 API 支持，适用于聊天、文本到图像和嵌入模型。支持同步和流 API 选项。还支持下拉以访问特定于模型的功能。
SpringAI+Ollama三部曲之一：极速体验
程序员欣宸的博客
05-18 1864
准备好linux和docker，随本文用最短的时间最少的步骤体验java版本的大模型应用
SpringAI通过Ollama连接大语言模型通义千问
专注技术交流、咨询
05-16 1908
随着大语言模型发展越来越成熟，Apache开源组织也出了自己的SpringAI开源工程 Spring AI项目旨在简化包含人工智能功能的应用程序的开发，避免不必要的复杂性。 该项目从著名的 Python 项目（例如 LangChain 和 LlamaIndex）中汲取灵感，但 Spring AI 并不是这些项目的直接移植。 支持所有主要模型，例如 OpenAI、Ollama、Azure OpenAI、Amazon Bedrock、Huggingface、Google VertextAI、Mistral A
第九章 Spring AI API中文版 - Ollama Embeddings API
liujianming的博客
04-10 1816
通过，您可以在本地运行各种大型语言模型（LLMs），并从中生成嵌入。Spring AI通过OllamaEmbeddingClient支持Ollama文本嵌入。嵌入是一个浮点数向量（列表）。两个向量之间的距离衡量它们的相关性。小距离表明高相关性，大距离表明低相关性。
springai ETL 切分
08-13
Spring AI ETL (Extract, Transform, Load)切分通常是指在数据处理流程中对大规模数据进行分解的过程，以便于管理和优化。Spring AI是一个基于Spring框架的数据集成工具集，它可以帮助你在分布式环境中设计和执行ETL任务。在Spring AI ETL中，切分通常是这样的： 1. 数据源切分（DataSource Splitting）：将原始数据源按照一定的规则划分为小份，如时间分区、范围划分等，便于并行处理。 2. 计划任务切分（Job Splitting）：把大的ETL作业拆分成多个小的任务，每个任务可以独立运行，提高并发性和效率。 3. 资源管理切分（Resource Management）：对于计算资源，例如数据库连接池或内存，通过切分避免单点过载，提升系统稳定性和性能。 4. 并行化处理（Parallel Processing）：通过任务切分，可以在多台机器上并行执行部分步骤，减少整体完成时间。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值