SpringBoot项目:SpringAI调用Ollama大模型

1.本地安装Ollama大模型

2.Spring AI 调用 Ollama 大模型

        Ollama 不仅提供了友好的命令行界面,还支持通过 API 调用,方便与各种应用程序集成。
参考
官方文档
Ollama-阿里云Spring AI Alibaba官网官网 (java2ai.com)https://java2ai.com/docs/1.0.0-M6.1/models/ollama/        可以直接使用开源项目 Ollama 快速安装大模型,无需自己执行脚本安装、也省去了复杂的环境配置。

一、本地安装Ollama大模型

首先下载安装 Ollama,并安装其命令行工具:

https://ollama.com/https://ollama.com/download

需要使用魔法!!!

以gemma3:1b为例

使用魔法下载好Ollama后直接安装,默认c盘,安装好Ollama后,即可在终端运行上述模型命令

ollama run gemma3

访问 http://localhost:11434,能够看到模型正常运行:

这样就安装成功了

2.Spring AI 调用 Ollama 大模型

Spring AI 原生支持调用 Ollama 大模型。参考 官方文档 。
1.首先需要先引入依赖:

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
    <version>1.0.0-M6</version>
</dependency>

官方提醒:由于 spring-ai 相关依赖包还没有发布到中央仓库,如出现 spring-ai-core 等相关依赖解析问题,请在项目的 pom.xml 依赖中加入如下仓库配置。

<repositories>
  <repository>
    <id>spring-milestones</id>
    <name>Spring Milestones</name>
    <url>https://repo.spring.io/milestone</url>
    <snapshots>
      <enabled>false</enabled>
    </snapshots>
  </repository>
</repositories>

2.填写配置,注意模型填写为我们刚刚安装并运行的模型:

spring:
  ai:
    ollama:
      base-url: http://localhost:11434
      chat:
        model: gemma3:1b

编写一段测试代码:

// 取消注释即可在 SpringBoot 项目启动时执行
//@Component
public class OllamaAiTest implements CommandLineRunner {

    @Resource
    private ChatModel ollamaChatModel;

    @Override
    public void run(String... args) throws Exception {
        AssistantMessage output = ollamaChatModel.call(new Prompt("你好,我是拨雪"))
                .getResult()
                .getOutput();
        System.out.println(output.getText());
    }
}

启动项目,成功运行并查看到 AI 的回答:

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值