Spring AI 接入OpenAI大模型实现同步和流式对话

接入前准备

第一，准备OpenAI API Key，如果你可以科学上网，可以参照[# 如何获得Open ai key]这篇文章在 OpenAI 官方网站上获取 OpenAI API Key。

第二，如果不能科学上网，我们可以通过一些代理商获取OpenAI API Key，以下三个都可以获取到OpenAI API Key

这三个代理大家自行选择，这里我不做任何评价，大家可以都使用一下，从价格、稳定性等几个方面选择最适合自己的代理，下面我就以第一个代理为例说明使用过程：

第一步：使用手机号注册账号，注册完成执行第二步

第二步：[gpt.zhizengzeng.com/#/login]登录系统，登录进去系统执行第三步

第三步：点击添加应用按钮，添加一个应用。【列表展示默认应用是我已经添加过的】 默认会送7000左右个tokens免费使用

第四步：我们就获取到了OpenAI API Key，下面就可以演示 Spring AI 如何接入 OpenAI

接入Open AI

创建项目

首先要创建一个Spring Boot项目，我们可以使用IDEA创建，也可以使用[start.spring.io/] 创建。创建过程我们就不再演示，想必大家不陌生。

注意：Spring AI要求的JDK版本最低为JDK17

引入依赖

需要引入Spring AI依赖包和Spring Web依赖包

<properties>
    <maven.compiler.source>17</maven.compiler.source>
    <maven.compiler.target>17</maven.compiler.target>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <spring-ai.version>1.0.0-SNAPSHOT</spring-ai.version>
</properties>

<dependencies>
    <!--Spring Web 依赖包-->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <!--Spring openAI 依赖包-->
    <dependency>
        <groupId>org.springframework.ai</groupId>
        <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
    </dependency>
</dependencies>

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-bom</artifactId>
            <version>${spring-ai.version}</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>

application.yml

如上图所示，可以获取到api-key和base-url，直接配置在yaml文件中

spring:
  ai:
    openai:
      api-key: xxxx
      base-url: xxxx

代码实现

package com.ivy.controller;

import org.springframework.ai.openai.OpenAiChatModel;
import org.springframework.http.MediaType;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;

@RestController
public class ChatController {

    private final OpenAiChatModel openAiChatModel;

    public ChatController(OpenAiChatModel openAiChatModel) {
        this.openAiChatModel = openAiChatModel;
    }

    /**
     * 同步方式实现聊天功能
     *
     * @param prompt 提示词
     * @return 聊天结果
     */
    @GetMapping("/chat")
    public String chat(String prompt) {
        return openAiChatModel.call(prompt);
    }

    /***
     * 流式方式实现聊天功能
     * @param prompt 提示词
     * @return 聊天结果流
     */
    @GetMapping(value = "/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> stream(String prompt) {
        return openAiChatModel.stream(prompt);
    }
}

在ChatController中实现了如下两种方式；

• chat()： 同步方式实现对话，一次性返回结果，当网络阻塞、输入文本以及返回文本较大时，返回比较慢，用户体验极差，在对话式应用中一般不采用此种方式。
• stream()：流式方式实现对话，多次返回结果，像打字一样将结果依次展示。对于对话式的应用场景，主流的调用方式基本采用的是流式对话。

Spring AI中流式对话接口采用的是Spring WebFlux异步网络框架实现的，WebFlux底层默认采用Netty，因此，如果需要了解Spring AI流式对话底层的实现，则需要对异步网络编程有一定的了解。最好能对WebFlux的使用、Flux、Mono等概念了解，当然对于简单的调用并没有什么影响。

测试结果

启动Spring Boot项目，然后使用Postman进行接口测试

经过测试成功返回了结果，说明已经完成了使用Spring AI 接入 OpenAI 大模型。

下面我们在测试一下流式的方式

至此我们就完成了Spring AI 接入 OpenAI 大模型。您是不是感觉是如此的So easy！这都归功于Spring AI 将大模型的接入进行了抽象，完成了复杂接入流程的屏蔽。

虽然接入简单，但是如果想用好大模型还是有一定的难度的，比如怎么使用提示词工程激发大模型的能力，让回答更准确，如何给大模型执行一个角色以及如何让大模型具有上下文记忆能力等等。后续文章我们一一进行分析实践，敬请期待。

Spring AI 支持的大模型

支持的大模型以及需要引入的依赖包，大家根据需求自行进行选择所需要的大模型，实现对话功能。

• [Azure OpenAI Chat]

• [Ollama Chat]

使用 Ollama，您可以在本地运行各种大型语言模型 （LLMs） 并从中生成文本。Spring AI 支持使用 OllamaChatModel Ollama 文本生成。

• [Amazon Bedrock]

Amazon Bedrock 是一项托管服务，可通过统一的 API 提供来自各种 AI 提供商的基础模型。其支持多种大模型，比如托管 Anthropic 3、Anthropic 2、Llama、Cohere、Titan 和 Jurassic-2

• [HuggingFace Chat]

Huggingface是一个自然语言处理(NLP)领域的开源软件库和平台。它提供了丰富的预训练模型和工具,用于文本生成、文本分类、问答系统等多个NLP任务。通过Huggingface平台，开发者可以快速的搭建和训练自己的模型。

• [Google VertexAI]

• [Mistral AI Chat]

• [ZhiPu AI Chat]

清华智普大模型ChatGLB

• [watsonx.ai Chat]

使用 watsonx.ai，您可以在本地运行各种大型语言模型 （LLMs） 并从中生成文本。Spring AI 支持使用 watsonx.ai WatsonxAiChatModel 文本生成。

• [MiniMax Chat]

MiniMax Chat 是一种基于Minimax算法的对话系统，它通常用于游戏和决策场景中。

示例代码

[github.com/fangjieDevp…]

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。