java接入AI大模型个人实践（一）

于 2024-07-24 18:05:43 发布
阅读量386 收藏 13
点赞数 11
分类专栏： java技术分享 文章标签： 人工智能 java ai AIGC spring boot 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44700323/article/details/140669767
版权

一、前言

大家好，你的月亮我的心，我是博主小阿金，欢迎各位工友。 近来工作比较清闲、当然这也得益于AI技术的日益成熟、由于一直使用的是发小公司的AI大模型产品、博主也没有跟上潮流去研究如何接入个人项目、本着知其然知其所以然，近几天就来浅浅的探究一下如何接入个人项目。

二、模型选择、demo测试

由于我个人比较懒，又比较抠，本着能省则省的原则，最终选择国产大模型通义千问作为本次接入的大模型之一、接入模型的方法千篇一律，一通百通，最终还是需要落脚在业的设计上。下面是java项目接入千问流程。

参考文章：通义千问模型服务

  1. 已开通服务并获得API-KEY：开通DashScope并创建API-KEY。
  2. 引入Java SDK：java sdk引入流程
  3. 选择适合的交互方式、单轮对话、多轮对话、流式输出、我选择的是市面上常见的多轮对话+流式输出模式，通过demo中的代码可以看出、要实现多轮对话需要将历史对话的上下文，传递给大模型，以实现对话的持续输出，观察流式输出样例中GenerationParam方法可知，我们只需要将连续的对话以Message集合的形式传入即可。
private static GenerationParam buildGenerationParam(Message userMsg) {
        return GenerationParam.builder()
                .model("qwen-turbo")
                .messages(Arrays.asList(userMsg))
                .resultFormat(GenerationParam.ResultFormat.MESSAGE)
                .topP(0.8)
                .incrementalOutput(true)
                .build();
    }

进一步得到Message的属性，这便于我们进行相关表结构的设计

public class Message {
    String role;
    String content;
    @SerializedName("tool_calls")
    List<ToolCallBase> toolCalls;
    @SerializedName("tool_call_id")
    String toolCallId;
    @SerializedName("name")
    String name;

其中需要关注的暂时只有 role content，role对应的为身份标识，content是输出的内容，其中role有以下几种类型

USER("user"),
ASSISTANT("assistant"),
BOT("bot"),
SYSTEM("system"),
ATTACHMENT("attachment"),
TOOL("tool");

常用的就是user和assistant一个是用户发送，一个是系统回复类型。

三、流程及表结构设计思考

设计思考

基于demo代码设计可知

  1. 为了实现连续对话、我们必须将对话历史存储在本地
  2. 需要一定的会话控制逻辑，一是确保连续对话的上下文token，二是对于持续会话时间的控制

基于以上两点，我在数据库建立了两张数据表一张为问题表，一张为回复表用以解决历史对话问题，新增了会话id即sessionId属性用来控制连续一段时间的对话。以下是代码实现、仅供参考，如有高见请私信或者评论指出，不胜感激。

表结构

  1. 表结构设计，两表以问题id关联，确保为一个对话，以user_id、与session_id进行区分不同用户的会话历史。
CREATE TABLE `chat_answer_history` (
  `id` varchar(50) NOT NULL COMMENT '主键id',
  `user_id` bigint NOT NULL COMMENT '用户id',
  `session_id` varchar(30) NOT NULL COMMENT '会话id',
  `question_id` bigint NOT NULL COMMENT '问题id',
  `answer` longtext CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NOT NULL COMMENT '答案',
  `message_role` varchar(30) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL COMMENT '角色',
  `message_tool_calls` varchar(30) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  `message_tool_call_id` varchar(64) DEFAULT '',
  `message_name` varchar(64) DEFAULT '',
  `create_time` datetime DEFAULT NULL COMMENT '创建时间',
  `create_by` varchar(255) DEFAULT NULL COMMENT '创建者',
  PRIMARY KEY (`id`),
  KEY `session_id_index` (`session_id`) USING BTREE,
  KEY `question_id_index` (`question_id`) USING BTREE,
  KEY `user_id_index` (`user_id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci COMMENT='答案历史对话表';


CREATE TABLE `chat_question_history` (
  `id` bigint NOT NULL AUTO_INCREMENT COMMENT '主键id',
  `user_id` bigint NOT NULL COMMENT '用户id',
  `session_id` varchar(30) NOT NULL COMMENT '会话id',
  `question` longtext CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NOT NULL COMMENT '问题',
  `question_file_name` varchar(30) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL COMMENT '文件名称',
  `question_file_url` varchar(30) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL COMMENT '文件地址',
  `model` varchar(30) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL COMMENT '模型类型',
  `assistant` varchar(30) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL COMMENT '定义模型方向',
  `create_time` datetime DEFAULT NULL COMMENT '创建时间',
  `create_by` varchar(255) DEFAULT NULL COMMENT '创建者',
  `message_role` varchar(10) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL COMMENT '角色',
  PRIMARY KEY (`id`),
  KEY `session_id_index` (`session_id`) USING BTREE,
  KEY `user_id_index` (`user_id`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=215 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci COMMENT='提问历史对话表';

四、多轮对话+流式输出代码实现

此处给出基本实现逻辑

1、请求接口

import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.kingoffice.common.core.web.controller.BaseController;
import com.kingoffice.common.core.web.page.TableDataInfo;
import com.kingoffice.common.security.utils.SecurityUtils;
import com.kingoffice.system.domain.vo.ChatHistoryVo;
import com.kingoffice.system.domain.vo.ChatQuestionVo;
import com.kingoffice.system.service.aigc.IChatQuestionHistoryService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.annotation.Transient;
import org.springframework.http.MediaType;
import org.springframework.web.bind.annotation.*;
import reactor.core.publisher.Flux;

import java.util.Comparator;
import java.util.List;


@RestController
@RequestMapping("/chat")
public class ChatController extends BaseController{


    @Autowired
    private IChatQuestionHistoryService questionHistoryService;

        /**
         * 获取gpt返回
         *
         * @param chatQuestionVo
         * @return
         */
        @Transient
        @PostMapping(path = "/getChat")
        public Flux<GenerationResult> gptChat( @RequestBody ChatQuestionVo chatQuestionVo) {
            return questionHistoryService.gptChat(chatQuestionVo);
        }


        /**
         * 历史对话
         */
        @GetMapping("/historyList")
        public TableDataInfo historyList() {
            startPage();
            List<ChatHistoryVo> list = questionHistoryService.historyList(SecurityUtils.getUserId());
            list.sort(Comparator.comparing(ChatHistoryVo::getCreateTime));
            return getDataTable(list);
        }





}
//入参
@Data
public class ChatQuestionVo {

    /**
     * 问题
     */
    private String question;

    /**
     * 会话id
     */
    private String sessionId;

    /**
     * 调用模型
     */
    private String model;

    /**
     * 助手类型
     */
    private String assistant;


    private String questionFileName;


    private String questionFileUrl;


}

2、接口实现

import com.alibaba.dashscope.aigc.generation.Generation;
import com.alibaba.dashscope.aigc.generation.GenerationParam;
import com.alibaba.dashscope.aigc.generation.GenerationResult;
import com.alibaba.dashscope.aigc.generation.models.QwenParam;
import com.alibaba.dashscope.common.Message;
import com.alibaba.dashscope.common.ResultCallback;
import com.alibaba.dashscope.common.Role;
import com.alibaba.dashscope.utils.Constants;
import com.kingoffice.common.core.constant.ChatModelConstants;
import com.kingoffice.common.core.utils.DateUtils;
import com.kingoffice.common.security.utils.SecurityUtils;
import com.kingoffice.system.domain.aigc.ChatAnswerHistory;
import com.kingoffice.system.domain.aigc.ChatQuestionHistory;
import com.kingoffice.system.domain.vo.ChatHistoryVo;
import com.kingoffice.system.domain.vo.ChatQuestionVo;
import com.kingoffice.system.mapper.aigc.ChatAnswerHistoryMapper;
import com.kingoffice.system.mapper.aigc.ChatQuestionHistoryMapper;
import com.kingoffice.system.service.aigc.IChatQuestionHistoryService;
import org.apache.commons.lang3.StringUtils;
import org.springframework.beans.BeanUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;
import reactor.core.publisher.Flux;

import java.util.ArrayList;
import java.util.Date;
import java.util.List;


/**
 * 提问历史对话Service业务层处理
 *
 * @author kim
 * @date 2024-07-19
 */
@Service
public class ChatQuestionHistoryServiceImpl implements IChatQuestionHistoryService {
    @Autowired
    private ChatQuestionHistoryMapper chatQuestionHistoryMapper;

    @Autowired
    private ChatAnswerHistoryMapper chatAnswerHistoryMapper;

    @Value("${chat.accessKeyAli}")
    private String accessKeyAli;

    @Value("${chat.accessKeyMoon}")
    private String accessKeyMoon;

    @Override
    public Flux<GenerationResult> gptChat(ChatQuestionVo question) {
        StringBuilder contentBuilder = new StringBuilder();
        Constants.apiKey = accessKeyAli; // 密钥
        Generation gen = new Generation(); // 创建流
        // 获取用户信息
        Long userId = SecurityUtils.getUserId();
        String username = SecurityUtils.getUsername();
        if (StringUtils.isEmpty(question.getSessionId())) {
            //创建新的会话
            question.setSessionId(String.valueOf(System.currentTimeMillis()));
        } else {
            long sessionTime = Long.parseLong(question.getSessionId());
            if (System.currentTimeMillis() - sessionTime > 5 * 60 * 1000) {
                //会话超时  自动更新会话
                question.setSessionId(String.valueOf(System.currentTimeMillis()));
            }
        }
        // 加载历史message，并创建新的message
        List<Message> messages = conversationHistory(question.getSessionId());
        messages.add(Message.builder().role(Role.USER.getValue()).content(question.getQuestion()).build());
        // 保存用户问题历史记录
       GenerationParam param = buildGenerationParam(messages);
       // GenerationParam param = buildQwenParam(messages);
        return Flux.create(sink -> {
            try {
                gen.streamCall(param, new ResultCallback<GenerationResult>() {
                    @Override
                    public void onEvent(GenerationResult message) {

                        String newContent = message.getOutput().getChoices().get(0).getMessage().getContent();
                        //改造message属性 为此属性赋值sessionId
                        message.getOutput().getChoices().get(0).getMessage().setToolCallId(question.getSessionId());
                        contentBuilder.append(newContent);
                        if ("stop".equals(message.getOutput().getChoices().get(0).getFinishReason())) {
                            ChatQuestionHistory history = new ChatQuestionHistory();
                            BeanUtils.copyProperties(question, history);
                            history.setUserId(userId);
                            history.setCreateBy(username);
                            history.setMessageRole(Role.USER.getValue());
                            history.setCreateTime(new Date());
                            chatQuestionHistoryMapper.insertChatQuestionHistory(history);
                            ChatAnswerHistory answerHistory = new ChatAnswerHistory();
                            answerHistory.setId(message.getRequestId());
                            answerHistory.setAnswer(contentBuilder.toString());
                            answerHistory.setUserId(userId);
                            answerHistory.setSessionId(question.getSessionId());
                            answerHistory.setQuestionId(history.getId());
                            answerHistory.setMessageRole(message.getOutput().getChoices().get(0).getMessage().getRole());
                            answerHistory.setCreateBy(username);
                            answerHistory.setCreateTime(new Date());
                            chatAnswerHistoryMapper.insertChatAnswerHistory(answerHistory);
                            contentBuilder.setLength(0); // 清空StringBuilder
                        }

                        sink.next(message);
                    }

                    @Override
                    public void onError(Exception err) {
                        sink.error(err);
                    }

                    @Override
                    public void onComplete() {
                        sink.complete();
                    }
                });
            } catch (Exception e) {
                sink.error(e);
            }
        });
    }

    @Override
    public List<ChatHistoryVo> historyList(Long userId) {

        return chatQuestionHistoryMapper.historyList(userId);
    }

    private GenerationParam buildGenerationParam(List<Message> messages) {
        return GenerationParam.builder()
                .model(ChatModelConstants.Models.QWEN_MAX)
                .messages(messages)
                .resultFormat(GenerationParam.ResultFormat.MESSAGE)
                .topP(0.8)
                .incrementalOutput(true)
                .build();
    }
    //接入开源模型 chatGLM
    private QwenParam buildQwenParam(List<Message> messages) {
        return QwenParam.builder().model("chatglm3-6b").messages(messages)
                .resultFormat(QwenParam.ResultFormat.MESSAGE)
                .topP(0.8)
                .incrementalOutput(true) // get streaming output incrementally
                .build();
    }

    private List<Message> conversationHistory(String sessionId) {
        //根据用户id   会话id  查询10条记录
        List<Message> messages = new ArrayList<>();
        if (StringUtils.isEmpty(sessionId)) {
            return messages;
        }
        messages = chatAnswerHistoryMapper.conversationHistory(SecurityUtils.getUserId(), sessionId);
        return messages;
    }


}

三、查询方法

此处给出sql

<select id="conversationHistory" resultType="com.alibaba.dashscope.common.Message">
    SELECT
        content,
        role
    FROM
        (
            SELECT
                question AS content,
                message_role AS role,
                create_time
            FROM
                kim_chat_question_history
            WHERE
                user_id = #{userId}
              AND session_id = #{sessionId} UNION ALL
            SELECT
                answer AS content,
                message_role AS role,
                create_time
            FROM
                kim_chat_answer_history
            WHERE
                user_id = #{userId}
              AND session_id = #{sessionId}
        ) AS combined_data
    ORDER BY
        create_time
        LIMIT 10
</select>


<select id="historyList" resultType="com.kingoffice.system.domain.vo.ChatHistoryVo">
    SELECT
        t1.question,
        t1.id AS questionId,
        t1.create_time AS createTime,
        t2.answer,
        t2.id AS answerId
    FROM
        kim_chat_question_history t1
            INNER JOIN kim_chat_answer_history t2 ON t1.id = t2.question_id
    WHERE
        t1.user_id = #{userId}
    ORDER BY
        t1.create_time DESC
</select>

四、调用展示

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

五、总结

至此，后端已实现多轮对话以及流式输出，代码仍有待完善的地方，比如对于token的控制，参数校验，会话时长等等都是需要考虑的问题，后续在给出具体的优化建议，另外关注到Spring新出了SpringAI组件可以快速的实现众多大模型的调用，还有阿里也推出了同样的微服务组件，感兴趣的小伙伴可以去看下，我们此处不再赘述，下一篇我们进行前端调用后端流式接口的demo展示。

叫我小金就好。
关注
  • 11
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
超级详细Spring AI+ChatGPT（java接入OpenAI大模型）
爱吃Java的羊的博客
06-04 1739
超级详细Spring AI+ChatGPT（java接入OpenAI大模型）
01--SpringAI接入大模型,chatgpt,Java接入人工智能大模型
cygqtt的博客
07-05 1135
我们先创建一个根项目、之后在根项目中创建AI模块。
3秒钟接入讯飞星火AI大模型就是这么快（Java版）
crud的xiaodu
01-22 2881
【代码】3秒钟接入讯飞星火AI大模型就是这么快（Java版）
Spring AI 接入OpenAI大模型实现同步和流式对话
m0_65555479的博客
06-28 1347
第一，准备，如果你可以科学上网，可以参照[# 如何获得Open ai key]这篇文章在 OpenAI 官方网站上获取。第二，如果不能科学上网，我们可以通过一些代理商获取，以下三个都可以获取到这三个代理大家自行选择，这里我不做任何评价，大家可以都使用一下，从价格、稳定性等几个方面选择最适合自己的代理，下面我就以第一个代理为例说明使用过程：第一步：使用手机号注册账号，注册完成执行第二步第二步：[gpt.zhizengzeng.com/#/login]登录系统，登录进去系统执行第三步第三步：点击。
JAVA SDK 整合 AI 大语言模型
06-24 610
目前spring ai 提供的 sdk 包在实际中并不友好，例如需要使用多账号的情况下，特别是使用谷歌的 gemini 模型，并没有很好的支持这种使用场景。本文将介绍如何使用简单的方式，自己通过对官方的 REST API 进行封装，达标更快捷更方便地与各大厂商的大模型进行对话
讯飞星火认知大模型Java后端接口
是谢添啊
09-21 7345
我已经写了一个比较完整的 SpringBoot Demo 项目，为了方便理解对代码做了详细注释，已开源在 GitHub。下载后只需要找到 xfxh-web-simple-demo 模块，在其 application.yml 文件配置你自己的 `APPID`、`APISecret`、`APIKey` 信息，再以 GET 方式访问接口进行测试：http://localhost:8080/test/sendQuestion?question=hello
项目接入星火认知大模型！！！
redrun博客
07-27 2352
下载该项目到讯飞开发平台注册账户，这样可以添加应用到讯飞控制台添加一个应用，这样可以获取 APPID，APISecret，APIKey等打开我们项目修改xinghuodemo/main.js中的代码，填写自己的APPID，APISecret，APIKey然后执行下面指令然后访问地址，可以开始使用啦。
SpringBoot集成AI，接入大模型框架，LangChain4j
zhiuyanhuang的博客
07-04 1357
官网介绍到LangChain的目标是简化LLM与Java应用程序的集成。统一的API：每一个LLM提供商（如Open AI 或Google vetex AI）和向量存储（如Pinecone或Milvus）使用专有的API。LangChain4j提供了一个统一的API，以避免需要为每个API学习和实现特定的API。要尝试不同的LLM或嵌入存储，可以轻松地在它们之间切换，而无需重写代码，目前支持15个流行的LLM提供商和15个嵌入商店。功能全面的工具箱：LLM的应用程序，确定了常见的抽象、模式和技术。
Java对接腾讯混元大模型AI
qq_24315921的博客
09-12 826
腾讯混元api地址:https://cloud.tencent.com/document/product/1729/97732。哈哈以上代码，只是一个单纯的对接Demo写的很随意，见谅哈！生活不易犒劳一下自己，哈哈哈。设置到的jar包导入。
JAVA开发AI应用（一）：调用大模型实现基本聊天
catastrophe_zy的博客
06-03 300
异步模式下，chat是在一个单独的调度线程中执行的，所以如果想在当前线程中等待chat结束，可以调用await()阻塞当前线程。JBoltAI 还支持 OpenAI、文心、通义千问、Ollama、DeepSeek、Moonshot等多个大模型的接入。以上代码就是以异步的方式，向大模型发起一个提问，并要求大模型以流式进行响应。在流式响应模式下，大模型每成功响应一次，onSuccess回调就会执行一次。如果大模型的响应报错了，那么整个过程就会结束，触发onFail回调。以上代码就是接入了一个百川大模型的资源。
(spark-ai-python)讯飞星火大模型接入库
04-03
"Spark-AI-Python"是一个专门用于接入讯飞星火大模型的Python库，它的出现填补了Python开发者在使用星火大模型时缺乏官方统一维护Library的空白。这个开源项目旨在促进AI大模型在实际应用中的快速落地，降低Python...
讯飞星火大模型接入库 (spark-ai-go)
04-03
总的来说，讯飞星火大模型接入库 (spark-ai-go) 是一个强大的工具，它通过简洁的接口设计和高效的调用方式，使得广大开发者能够轻松接入和利用大模型技术，从而推动人工智能在各个领域的应用发展。对于希望涉足AI...
大语言模型、讯飞星火大模型java 包
01-15
在IT行业中，大语言模型和Java包是两个关键概念，特别是在人工智能和自然语言处理领域。本文将详细探讨这两个概念以及它们在实际应用中的结合。 首先，我们来理解“大语言模型”。大语言模型是一种深度学习算法，其...
Java开发轮子：快速接入讯飞星火大模型API
02-28
通过这个程序，你可以轻松地与讯飞星火API建立连接，并实现与模型的交互。无论是简单的问答还是复杂的问题，它都能准确理解并给出满意的答案。而且，它还具备联系上下文的能力，能够更好地理解问题的语境，从而提供...
发布自己的vscode 大模型问答插件，vue+nodejs 接入文心一言api
04-24
发布自己的vscode 大模型问答插件，vue+nodejs 接入文心一言api。仓库中有三个项目，vscodechatdemo 是vscode插件项目，webchat 嵌入插件的外部web聊天页面，chat-server webchat项目的后端接口服务其中包含文心一言...
随机数种子的作用
帆的博客
07-23 606
设置随机数种子（random seed）的目的是为了确保随机数生成器在每次运行时产生相同的随机数序列，从而保证实验结果的一致性。随机数种子通过初始化随机数生成器的内部状态，使得在相同的种子值下，随机数生成器每次调用时生成的序列是相同的。
GPU算力：驱动现代计算的引擎
UnityBoy的博客
07-22 354
在当今的计算密集型应用中，GPU（图形处理单元）算力已成为推动科学计算、人工智能、数据分析等领域发展的关键因素。GPU最初设计用于处理复杂的图形和图像任务，但随着技术的进步，它们已经演变为通用并行计算的强有力工具。本文将探讨GPU算力的基本概念、重要性、应用场景以及如何充分利用GPU算力。
【保姆级教程】跑通YOLOv8-multi-task多任务模型
最新发布
m0_51579041的博客
07-23 117
【保姆级教程】跑通YOLOv8-multi-task多任务模型
大模型面经
weixin_43744732的博客
07-19 1278
大模型，面试，八股文
java接入chatgpt
04-05
很抱歉，作为AI语言模型，我不具备调用第三方聊天机器人ChatGPT的能力。不过，您可以参考以下步骤将ChatGPT集成到您的Java应用程序中： 1. 了解ChatGPT的API文档和使用方法。 2. 在Java应用程序中添加HTTP请求库，例如Apache HttpClient或OkHttp。 3. 使用HTTP请求库向ChatGPT API发送请求。 4. 解析API响应并将其显示在Java应用程序中。 请注意，这只是一般性的步骤，具体实现细节可能因ChatGPT API的不同而有所不同。建议您仔细阅读API文档并遵循最佳实践。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值