阿里出击！Spring Cloud Alibaba AI 初体验

大飞攻城狮

于 2024-08-07 09:38:00 发布

阅读量226

点赞数 12

文章标签：人工智能 AI大模型产品经理大模型语言模型

本文链接：https://blog.csdn.net/m0_63171455/article/details/140976640

版权

什么是Spring AI

Spring AI是从著名的Python项目_LangChain_和_LlamaIndex_中汲取灵感，它不是这些项目的直接移植，它的成立信念是，下一波生成式人工智能应用程序将不仅适用于 Python 开发人员，而且将在许多编程语言中无处不在。

我们可以从Spring AI的官网描述中，总结出Spring AI的几个核心的关键词：

提供抽象能力
简化AI应用的开发
模型与向量支持
AI集成与自动配置

Spring AI简化了我们构建大型复杂的AI应用的过程，当然如果你的项目仅仅是需要调用一个AI接口，那其实直接调用官方SDK反而更方便。

Spring AI提供的功能如下：

支持所有主要的模型提供商，如OpenAI，Microsoft，Amazon，Google和Huggingface。支持的模型类型包括聊天和文本到图像。
跨 AI 提供商的可移植 API，用于聊天和嵌入模型。支持同步和流 API 选项。还支持下拉以访问特定于模型的功能。
将 AI 模型输出映射到 POJO。
支持所有主要的向量数据库，例如 Azure Vector Search、Chroma、Milvus、Neo4j、PostgreSQL/PGVector、PineCone、Qdrant、Redis 和 Weaviate。
跨 Vector Store 提供程序的可移植 API，包括新颖的类似 SQL 的元数据过滤器 API，该 API 也是可移植的。
AI 模型和矢量存储的 Spring Boot stater。
用于数据工程的 ETL 框架

什么是Spring Cloud Alibaba AI

原始的Spring AI并没有国内相关大模型的接入，对国内开发者不太友好。

总的来说，Spring Cloud Alibaba AI 目前基于Spring AI 0.8.1版本 API 完成通义系列大模型的接入。

在当前最新版本中，Spring Cloud Alibaba AI 主要完成了几种常见生成式模型的适配，包括对话、文生图、文生语音等，开发者可以使用 Spring Cloud Alibaba AI 开发基于通义的聊天、图片或语音生成 AI 应用，框架还提供 OutParser、Prompt Template、Stuff 等实用能力。

Spring Cloud Alibaba AI官方还提供了包括聊天对话、文生图、文生语音等多种应用的开发示例。

动手体验Spring Cloud Alibaba AI

首先新建一个Maven项目，JDK选的是17版本。

Maven文件需要引入spring-cloud-alibaba-dependencies和spring-cloud-starter-alibaba-ai两个依赖。

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>com.alibaba.cloud</groupId>
            <artifactId>spring-cloud-alibaba-dependencies</artifactId>
            <version>2023.0.1.0</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>

<dependencies>
    <dependency>
        <groupId>com.alibaba.cloud</groupId>
        <artifactId>spring-cloud-starter-alibaba-ai</artifactId>
    </dependency>
</dependencies>

配置阿里云通义千问的Api-Key，没有的读者可以从官网上申请。

server:
  port: 8080
spring:
  application:
    name: alibaba-spring-ai-demo

  cloud:
    ai:
      tongyi:
          api-key: 你的api-key

新建SpringBoot启动类：

@SpringBootApplication
public class MyAiApplication {
    public static void main(String[] args) {
        SpringApplication.run(MyAiApplication.class,args);
    }
}

对接文本模型

我们首先测试如何对接文本大模型。

新建一个控制器类：新建/simple接口，用来测试基本QA。

@RestController
@RequestMapping("/ai")
@CrossOrigin
public class TongYiController {
    @Autowired
    @Qualifier("tongYiSimpleServiceImpl")
    private TongYiService tongYiSimpleService;

    @GetMapping("/simple")
    public String completion(
            @RequestParam(value = "message", defaultValue = "AI时代下Java开发者该何去何从？")
            String message
    ) {
        return tongYiSimpleService.completion(message);
    }
}

新建一个TongyiService服务类：

public interface TongYiService {

    /**
     * 基本问答
     */
    String completion(String message);
    /**
     * 文生图
     */
    ImageResponse genImg(String imgPrompt);

    /**
     * 语音合成
     */
    String genAudio(String text);

}

具体的实现类如下：由 Spring AI 自动注入 ChatClient、StreamingChatClient，ChatClient 屏蔽底层通义大模型交互细节，后者用于流式调用。

对于QA而言，仅仅通过client.call(prompt)一行代码就可以完成对模型的调用。

@Service
@Slf4j
public class TongYiSimpleServiceImpl extends AbstractTongYiServiceImpl {
  /**
   * 自动注入ChatClient、StreamingChatClient，屏蔽模型调用细节
   */
  private final ChatClient chatClient;

  private final StreamingChatClient streamingChatClient;

  @Autowired
  public TongYiSimpleServiceImpl(ChatClient chatClient, StreamingChatClient streamingChatClient) {
    this.chatClient = chatClient;
    this.streamingChatClient = streamingChatClient;
  }
    /**
    * 具体实现：
    */
  @Override
  public String completion(String message) {
    Prompt prompt = new Prompt(new UserMessage(message));
    return chatClient.call(prompt).getResult().getOutput().getContent();
  }
}

我们发送一个请求，prompt是AI时代下Java开发者该何去何从？测试结果如下：

文生图模型

这里只给出service的代码，其它代码同上面的文本问答。

可以看到，只需要实例化一个imagePrompt，再调用模型即可。

@Slf4j
@Service
public class TongYiImagesServiceImpl extends AbstractTongYiServiceImpl {
    private static final Logger logger = LoggerFactory.getLogger(TongYiService.class);
    private final ImageClient imageClient;
    @Autowired
    public TongYiImagesServiceImpl(ImageClient client) {
       this.imageClient = client;
    }
    @Override
    public ImageResponse genImg(String imgPrompt) {
       var prompt = new ImagePrompt(imgPrompt);
       return imageClient.call(prompt);
    }
}

测试的prompt是：Painting a boy coding in front of the desk, with his dog.，测试结果如下，效果还是很不错的：

img测试.jpg img接口.jpg

语音合成模型

@Slf4j
@Service
public class TongYiAudioSimpleServiceImpl extends AbstractTongYiServiceImpl {
    private static final Logger logger = LoggerFactory.getLogger(TongYiService.class);
    private final SpeechClient speechClient;
    @Autowired
    public TongYiAudioSimpleServiceImpl(SpeechClient client) {
       this.speechClient = client;
    }
    @Override
    public String genAudio(String text) {
       logger.info("gen audio prompt is: {}", text);
       var resWAV = speechClient.call(text);
       // save的代码省略，就是将音频保存到本地而已
       return save(resWAV, SpeechSynthesisAudioFormat.WAV.getValue());
    }
}

测试结果也是成功的：

使用体验小结

不得不说，阿里在Java开发领域一直是走在国内的前沿的，我也期待阿里继续完善Spring Cloud Alibaba AI的相关功能，为我们这些国内Java开发者提供更加方便的开发工具。

本文仅仅简单测试了文本问答、文生图以及语音合成三个功能，（最后一个没列出来），Spring Cloud Alibaba AI还有很多丰富的功能，如流式调用、POJO转换、AI Role等功能，各位读者感兴趣可以自行前往官方example仓库查看。后续也我打算利用Spring Cloud Alibaba AI尝试构建一个RAG问答应用。

下面给出我的使用小结：

简化开发。个人开发者如果仅仅需要简答的问答接口，无需使用Spring AI，然而，当项目中需要开发比较复杂的AI功能，如果仅仅使用官方的SDK，写出的代码可能不太容易长期维护。
响应时间。接口响应时间还有很大的优化空间，可以看到基本的文本问答的响应就耗费了10s，不过这也取决于所处理任务的大小。
模型选择。之前使用SDK可以自己选择通义提供的各种模型，而使用Spring AI框架，暂时不知道如何选择其它模型进行调用，有知道的掘友也可以在评论区说一下。

未来，Spring Cloud Alibaba AI还将继续完成 VectorStore、Embedding、ETL Pipeline 等更多适配，简化 RAG 等更多 AI 应用开发场景。身为Java开发者，我也将继续关注Spring Cloud Alibaba 社区的最新动态。

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段：从大模型系统设计入手，讲解大模型的主要方法；

第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求：大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能，学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力：大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

大飞攻城狮

关注

12
点赞
踩
14

收藏

觉得还不错? 一键收藏
0
评论
阿里出击！Spring Cloud Alibaba AI 初体验

原始的Spring AI并没有国内相关大模型的接入，对国内开发者不太友好。总的来说，Spring Cloud Alibaba AI 目前基于Spring AI 0.8.1版本 API 完成通义系列大模型的接入。
复制链接

扫一扫