Spring AI教程（十五）：处理结构化输出与自定义AI模型

Spring AI教程（十五）：处理结构化输出与自定义AI模型

在前面的文章中，我们讨论了Prompt模板、嵌入技术和Token管理。这篇文章将探讨如何处理AI模型的结构化输出，以及如何将自定义数据引入到AI模型中。

结构化输出（Structured Output）

传统上，AI模型的输出通常以java.lang.String形式返回，即使请求输出为JSON，它也只是一个字符串。这种复杂性导致了一个专门领域的出现，即创建Prompts以生成预期输出，然后将简单字符串转换为可用的数据结构以供应用程序集成。

结构化输出转换

结构化输出转换需要精心设计的Prompts，通常需要与模型进行多次交互才能实现所需的格式。Spring AI项目提供了支持结构化输出转换的工具，帮助开发者更好地处理这种情况。

示例：处理结构化输出

以下是一个处理结构化输出的示例：

1. 创建结构化输出服务

创建一个服务类，用于处理结构化输出：

import org.springframework.stereotype.Service;
import com.example.springai.OpenAiStructuredOutputService;

@Service
public class StructuredOutputService {

    private final OpenAiStructuredOutputService structuredOutputService;

    public StructuredOutputService(OpenAiStructuredOutputService structuredOutputService) {
        this.structuredOutputService = structuredOutputService;
    }

    public <T> T getStructuredOutput(String prompt, Class<T> responseType) {
        String jsonResponse = structuredOutputService.getStructuredOutput(prompt);
        return convertJsonToObject(jsonResponse, responseType);
    }

    private <T> T convertJsonToObject(String jsonResponse, Class<T> responseType) {
        // 使用JSON库将JSON字符串转换为Java对象
        ObjectMapper objectMapper = new ObjectMapper();
        try {
            return objectMapper.readValue(jsonResponse, responseType);
        } catch (IOException e) {
            throw new RuntimeException("Failed to convert JSON to Object", e);
        }
    }
}

2. 使用结构化输出服务

创建一个控制器，使用结构化输出服务生成结构化数据：

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class StructuredOutputController {

    @Autowired
    private StructuredOutputService structuredOutputService;

    @GetMapping("/get-structured-output")
    public <T> T getStructuredOutput(@RequestParam String prompt, @RequestParam Class<T> responseType) {
        return structuredOutputService.getStructuredOutput(prompt, responseType);
    }
}

自定义AI模型

如何将未训练的数据引入到AI模型中？这对于许多实际应用来说是一个关键问题。GPT-3.5/4.0的数据集仅涵盖到2021年9月，因此模型无法回答需要该日期之后知识的问题。以下是三种自定义AI模型以包含新数据的技术：

1. 微调（Fine Tuning）

微调是一种传统的机器学习技术，通过调整模型的内部权重来定制模型。然而，这对于GPT等大型模型来说非常困难且资源密集。

2. Prompt填充（Prompt Stuffing）

Prompt填充是一种更实际的替代方案，即在Prompt中添加尽可能多的上下文信息以供模型参考。虽然这种方法简单，但在处理大数据量时可能会遇到Token限制。

3. 检索增强生成（Retrieval-Augmented Generation, RAG）

RAG模式结合了信息检索和生成模型。首先，系统从一个知识库中检索相关信息，然后将这些信息与用户的Prompt一起传递给生成模型。这种方法既能利用最新的信息，又能保持生成模型的灵活性。

示例：检索增强生成

以下是一个RAG模式的实现示例：

1. 创建检索服务

创建一个服务类，用于从知识库中检索信息：

import org.springframework.stereotype.Service;
import com.example.springai.KnowledgeBaseService;

@Service
public class RetrievalService {

    private final KnowledgeBaseService knowledgeBaseService;

    public RetrievalService(KnowledgeBaseService knowledgeBaseService) {
        this.knowledgeBaseService = knowledgeBaseService;
    }

    public String retrieveRelevantInformation(String query) {
        return knowledgeBaseService.search(query);
    }
}

2. 创建生成服务

创建一个服务类，用于将检索到的信息与用户的Prompt结合，并传递给生成模型：

import org.springframework.stereotype.Service;
import com.example.springai.OpenAiChatService;

@Service
public class RagService {

    private final RetrievalService retrievalService;
    private final OpenAiChatService openAiChatService;

    public RagService(RetrievalService retrievalService, OpenAiChatService openAiChatService) {
        this.retrievalService = retrievalService;
        this.openAiChatService = openAiChatService;
    }

    public String generateResponse(String userPrompt) {
        String retrievedInformation = retrievalService.retrieveRelevantInformation(userPrompt);
        String combinedPrompt = userPrompt + " 相关信息：" + retrievedInformation;
        return openAiChatService.chat(combinedPrompt);
    }
}

3. 使用RAG服务

创建一个控制器，使用RAG服务生成响应：

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class RagController {

    @Autowired
    private RagService ragService;

    @GetMapping("/generate-rag-response")
    public String generateRagResponse(@RequestParam String prompt) {
        return ragService.generateResponse(prompt);
    }
}

结论

通过理解结构化输出和自定义AI模型的技术，Spring AI能够处理更复杂的任务和更大规模的数据。希望这篇文章能帮助你在实际项目中应用这些技术，并激发你更多的创意。

下一篇文章中，我们将继续探讨更多实际应用场景和高级功能，帮助你进一步掌握这一强大的工具。