Springboot对接大模型，支持流式输出

Chicring

已于 2024-04-09 17:15:00 修改

阅读量1.3k

点赞数 11

文章标签： java vue.js chatgpt gpt spring boot

于 2024-04-08 23:50:25 首次发布

本文链接：https://blog.csdn.net/weixin_61332602/article/details/137528322

版权

项目名： OnChat

项目地址：项目地址

通过OpenAI ApI的格式访问模型，一种请求访问所有大模型。

1. 后端使用springb webflux开发，前端管理使用vue + vuetify

2. 通过OpenAI ApI的格式访问所有的大模型

3. 支持添加的模型

OpenAi，Google Gemini，阿里通义千问，讯飞星火，360智脑，智谱AI，Moonshot

4. 支持自定义模型映射

5. 支持流式输出模型，

6. 分发二次令牌，通过生成的令牌来访问添加的模型

7. 请求日志记录，包括请求的模型、输入输出、请求耗时、ip地址

8.支持设置代理请求

9. 日志统计

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Chicring

关注关注

11
点赞
踩
19

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

【AI大模型应用开发】【LangChain系列】9. 实用技巧：大模型的流式输出在 OpenAI 和 LangChain 中的使用

同学小张的博客

03-14

4218

当大模型的返回文字非常多时，返回完整的结果会耗费比较长的时间。如果等待大模型形成完整的答案再展示给用户，明显会给用户不好的体验。所以，现在市面上大多数的AI应用，在给用户结果时，都是以流式输出的方式展示给用户的。今天我们来学习下如何流式输出大模型的返回结果。本文将涵盖 LangChain 的流式输出方式和 OpenAI 原生的流式输出方式。

工程对接大模型流式和非流式对话底层原理解析

互联网大厂后端码农，个人IP：无一郎的技术圈，欢迎加入我的知识星球，解锁更多内容

01-28

4141

本文描述了工程对接大模型流式和非流式对话底层原理解析，自己项目的设计思路，以及手动实践经历。

1 条评论您还未登录，请先登录后发表或查看评论

Spring Boot对接大模型：实战价值与技巧

德乐懿的博客

07-08

1264

本文将深入探讨Spring Boot对接大模型的概念、原理、应用场景，并列举具体实战案例，同时阐述对接过程中可能遇到的常见问题及解决方案，最后强调Spring Boot对接大模型的重要性和价值。通过Spring Boot对接大模型，企业可以快速地将先进的算法和模型应用到实际业务中，从而实现业务的智能化和自动化。Spring Boot作为一款成熟的应用框架，提供了丰富的功能和组件，可以大大简化大模型对接的开发工作。这不仅可以提高系统的响应速度和处理能力，还可以优化资源的利用和分配，从而提升整个系统的性能。

技术分享 | SpringBoot 流式输出时，正常输出后为何突然报错？

LigaAI的博客

05-31

614

最近在一个 SpringBoot 项目中遇到了一个很有意思的问题：正常通过过滤器和拦截器的线程变量，在正常输出后突然报错。这是咋回事？

大模型LLM-输出的多样性

xiangxueerfei的博客

07-17

1136

Prompt Engineering 是一种技术，通过精心设计的文本提示来激发和指导语言模型，使其能够完成特定的任务或生成特定的内容。

SpringBoot中承接SSE流式输出的核心代码

是我的温柔啊

01-01

1805

常用作对接AI大模型，AI大模型为了保证推理速度和用户体验，会进行sse流式返回。

SpringBoot大模型流式接口

Good Luck

07-23

493

【代码】SpringBoot大模型流式接口。

springboot集成sse实现后端流式输出消息

竹林幽深

07-03

401

在实现人工智能聊天的过程中，往往不难发现，主流的输出方式都是采用流式输出，而在后端实现流式输出可以有两种实现思路，第一种是采用sse，第二种是采用websocket,本编将为大家介绍 sse实现流式输出消息。").build())log.info("[{}]连接异常,{}", uid, throwable.toString());log.info("[{}]连接超时...................", uid);.name("发生异常！log.info("参数异常，msg为null", uid);

SpringBoot集成AI，接入大模型框架，LangChain4j

zhiuyanhuang的博客

07-04

2668

官网介绍到LangChain的目标是简化LLM与Java应用程序的集成。统一的API：每一个LLM提供商（如Open AI 或Google vetex AI）和向量存储（如Pinecone或Milvus）使用专有的API。LangChain4j提供了一个统一的API，以避免需要为每个API学习和实现特定的API。要尝试不同的LLM或嵌入存储，可以轻松地在它们之间切换，而无需重写代码，目前支持15个流行的LLM提供商和15个嵌入商店。功能全面的工具箱：LLM的应用程序，确定了常见的抽象、模式和技术。

基于技术栈Java SpringBoot实现可以流式输出文本的飞书机器人，星火大模型机器人

10-13

总的来说，这个项目结合了Spring Boot的快速开发特性，飞书机器人的消息交互能力，以及“星火大模型”的智能文本处理能力，创建了一个高效且智能的文本流式输出机器人。通过这样的设计，开发者可以构建出一个能够...

springboot+uniapp实战对接ChatGPT, 实现移动端应用对话

码世界

04-18

4000

助力AI解决方案：文本摘要：给定一篇文章，生成一个简短的摘要。语言翻译：将一种语言的文本翻译成另一种语言的文本。文章生成：生成一篇文章，可以用于自动写作、内容创作等领域。问答系统：回答用户提出的问题，可以用于智能客服、知识库等领域。自动化写作：自动生成各种类型的文本，例如广告文案、新闻报道、小说等。论文润色：自动润色用户输入的文章，输出润色后的文章，代码语法检查：输入一段代码，给出代码解析和有语法错误的提示。代码自动生成：用户简要出入需要的代码场景，即可输出对应的代码片段。

【微服务】springboot整合skywalking使用详解

最新发布

liuwenqiang1314的博客

08-26

521

今天正在路上刷手机，突然看到群里有人发了一个链接，内容是Spring Cloud Alibaba AI 的使用，，于是就想着玩一玩试试，难度不大，就是有些文档的坑，这里做一个记录，后续会继续更新这个系列的，毕竟AI时代，我们springer也得搭一下顺风车。

SpringBoot 集成 WebFlux，请求大模型实现 “打字机” 流式响应效果

Java技术站

03-06

4533

SpringBoot 集成 WebFlux，请求大模型实现 “打字机” 流式响应效果

SpringBoot项目调用讯飞星火认知大模型

诨号无敌鸭的博客

04-19

1118

在这里可以看到你的appId，apiSercret,apiKey等信息，后面配置要用到。领取完tokens之后点击在线调试。创建好应用后领取tokens。新建aiManage类下方法。

springboot优点_Spring boot入门

weixin_39926311的博客

11-26

175

最近Spring boot真是越来越火了，所以就想学习并写一个Spring boot的系列文章。以前大家一说spring的时候，都会想到Spring mvc框架，但是Spring mvc配置文件真是太多啦，而且每一个项目配置文件的内容都是差不多的，配置起来真是太费劲了。还好现在Spring boot框架火了起来，原因就是约定大于配置，多数 Spring Boot 应用只需要很少的 Spring 配...

SpringBoot 接入讯飞星火大模型实现对话

生产队的驴

02-10

2402

接口是以套接字的形式分段返回，而且非http请求，比较繁琐，官方也只给了比较简单的deom。

大模型qwen-turbo流式输出+多轮对话+前端SSE

Mooczx的博客

08-25

256

2.将用户问的问题添加messages中。1.创建一个模型类与序列化器。3.前端SSE接收流式输出。

SpringBoot对接ChatGPT

04-04

作为AI语言模型，ChatGPT可以用于构建聊天机器人。SpringBoot可以用于搭建Web应用程序，提供接口用于与ChatGPT进行交互。下面是一些简单的步骤： 1.安装ChatGPT 由于ChatGPT是一个开源项目，可以从GitHub上下载源代码。在下载完毕后，需要安装依赖项并运行模型，以便能够提供聊天服务。 2.创建SpringBoot项目使用SpringBoot创建一个新项目，可以使用Spring Initializr快速构建。在创建项目时，需要添加web和thymeleaf依赖项，以便能够提供Web界面和处理HTTP请求。 3.创建聊天界面在SpringBoot项目中，可以使用Thymeleaf模板引擎创建Web界面。在聊天界面中，需要一个输入框和一个输出框，以便用户输入消息并查看ChatGPT返回的回复。 4.编写控制器创建一个控制器类，将聊天界面的输入框和输出框与ChatGPT进行交互。可以使用RestTemplate或Feign Client等HTTP客户端库，将用户输入的消息发送到ChatGPT，并将返回的回复显示在输出框中。 5.测试应用程序启动SpringBoot应用程序，并在浏览器中打开聊天界面。输入一些消息并查看ChatGPT的回复。以上是SpringBoot对接ChatGPT的基本步骤。当然，在实际应用中，可能需要考虑更多的因素，例如性能、安全性和可扩展性等。