如何用 Spring AI + Ollama 构建生成式 AI 应用

大模型微调部署

已于 2024-10-26 20:00:04 修改

阅读量2.7k

点赞数 29

文章标签： spring 人工智能 AI大模型大模型 LLM ai

于 2024-10-23 20:02:49 首次发布

本文链接：https://blog.csdn.net/star_nwe/article/details/143192457

版权

为了构建生成式AI应用，需要完成两个部分：

• AI大模型服务：有两种方式实现，可以使用大厂的API，也可以自己部署，本文将采用ollama来构建
• 应用构建：调用AI大模型的能力实现业务逻辑，本文将采用Spring Boot + Spring AI来实现

一、Ollama安装与使用

在这里插入图片描述

进入官网：https://ollama.com/ ，下载、安装、启动 ollama

二、构建 Spring 应用

通过 spring initializr 创建Spring Boot应用
注意右侧选择Spring Web和Spring AI对Ollama的支持依赖

点击“generate”按钮获取工程
使用IDEA或者任何你喜欢的工具打开该工程，工程结构如下；

写个单元测试，尝试在Spring Boot应用里调用本地的ollama服务

@SpringBootTest(classes = DemoApplication.class)  
class DemoApplicationTests {  
  
    @Autowired  
    private OllamaChatModel chatModel;  
  
    @Test  
    void ollamaChat() {  
        ChatResponse response = chatModel.call(  
            new Prompt(  
                "Spring Boot适合做什么？",  
                OllamaOptions.builder()  
                    .withModel(OllamaModel.LLAMA3_1)  
                    .withTemperature(0.4)  
                    .build()  
           ));  
        System.out.println(response);  
    }  
  
}

运行得到如下输出：

ChatResponse [metadata={ id:, usage:{ promptTokens:17, generationTokens:275, totalTokens:292}, rateLimit: org.springframework.ai.chat.metadata.EmptyRateLimit@7b3feb26}, generations=[Generation[assistantMessage=AssistantMessage[messageType=ASSISTANT, toolCalls=[], textContent=SpringBoot是一个基于Java的快速开发框架，主要用于创建独立的、生产级别的应用程序。它提供了一个简化的配置过程，使得开发者能够快速构建和部署Web应用程序。  
  
SpringBoot适合做以下几件事情：  
  
1.**快速开发**:SpringBoot提供了一系列的自动配置功能，可以帮助开发者快速创建基本的应用程序，减少手动编写配置代码的时间。  
2.**独立运行**:SpringBoot可以作为一个独立的应用程序运行，不需要额外的容器或服务器支持。  
3.**生产级别的应用程序**:SpringBoot提供了许多生产级别的特性，例如安全、监控和部署等功能，可以帮助开发者创建高性能、可靠的应用程序。  
4.**Web应用程序**:SpringBoot可以用于创建Web应用程序，包括RESTful API、WebSockets和其他类型的Web应用程序。  
5.**微服务架构**:SpringBoot支持微服务架构，允许开发者将一个大型应用程序分解成多个小型服务，每个服务都可以独立运行和部署。  
  
总之，SpringBoot是一个强大的框架，可以帮助开发者快速创建、测试和部署生产级别的应用程序。, metadata={messageType=ASSISTANT}], chatGenerationMetadata=ChatGenerationMetadata{finishReason=stop,contentFilterMetadata=null}]]]

三、小结

通过本文的介绍，我们就已经完成了Spring Boot应用与Ollama运行的AI模型之间的对接。剩下的就是与业务逻辑的结合实现，这里读者根据自己的需要去实现即可。

可能存在的一些疑问

如何使用其他AI模型

通过ollama的 Models 页面，可以找到各种其他模型：

选择你要使用的模型来启动即可。

如何植入现有应用？

打开上面工程的pom.xml，可以看到主要就下面两个依赖：

<dependency>  
  <groupId>org.springframework.boot</groupId>  
  <artifactId>spring-boot-starter-web</artifactId>  
</dependency>  
<dependency>  
  <groupId>org.springframework.ai</groupId>  
  <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>  
</dependency>

所以，如果要在现有工程引入的话只要引入spring-ai-ollama-spring-boot-starter依赖就可以了。