java实现并消费rocketmq数据并将数据上传到存储服务器上

已于 2024-06-05 14:47:24 修改
阅读量649 收藏 1
点赞数 2
分类专栏： 生产并消费rocketmq数据并将数据上传到存储服务器上 文章标签： java restful mvc jar javacv
于 2021-09-22 21:46:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37716298/article/details/120422203
版权
该博客介绍了如何使用Java实现RocketMQ的消息生产和消费，并将数据上传到MinIO存储服务器（7.0.2和8.3.0版本）以及阿里云OSS。详细讲解了各个步骤，包括分片上传视频到MinIO，以及通过Postman接口测试RocketMQ数据生产。同时提供了不同版本的MinIO和阿里云OSS的操作示例，以及源码下载链接。
摘要由CSDN通过智能技术生成

功能点说明

安装相应rocketmq和minio

rocketmq相关

rocketmq生产数据
rocketmq消费数据

minio相关(7.0.2版本)

minio上传数据
minio下载数据
minio删除数据

阿里云OSS

阿里云oss上传数据
阿里云oss下载数据(获取下载地址)
阿里云oss删除数据

minio相关(8.3.0版本)

minio上传数据(8.3.0版本)
minio下载数据(8.3.0版本)
minio删除数据(8.3.0版本)

特别篇

java实现将视频分片上传到minio(一):视频分片
java实现将视频分片上传到minio(二):视频文件写入到minio

实现效果

rocketmq生产数据

postman调用接口生产数据
imgContent为图片base数据
rocketmq控制台显示数据(需登录rocketmq控制台):
rocketmq控制台显示数据
数据状态(目前订阅者还未在线,未被消费):
目前订阅者还未在线

rocketmq消费数据

程序断点显示数据
在这里插入图片描述
数据状态(已被消费):
数据消费状态

minio上传下载展示

minio上传数据
minio数据上传展示

minio数据下载

http://127.0.0.1:9001/test1/data/20210922/S0004440020010200401012020090915000229/S0004440020010200401012020090915000229_1632317832373.jpg

数据下载示例
在这里插入图片描述

阿里云OSS上传下载展示

阿里云OSS上传展示
oss上传展示
阿里云OSS下载展示
oss下载

版本

minio版本(7.0.2版本)

  <!-- https://mvnrepository.com/artifact/io.minio/minio -->
        <dependency>
            <groupId>io.minio</groupId>
            <artifactId>minio</artifactId>
            <version>7.0.2</version>
        </dependency>

minio版本(8.3.0)

 <dependency>
            <groupId>io.minio</groupId>
            <artifactId>minio</artifactId>
            <version>8.3.0</version>
            <exclusions>
                <exclusion>
                    <groupId>com.squareup.okhttp3</groupId>
                    <artifactId>okhttp</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>com.squareup.okhttp3</groupId>
            <artifactId>okhttp</artifactId>
            <version>4.8.1</version>
            <scope>compile</scope>
        </dependency>

移除okhttp并自己添加okhttp的原因：
minio(8.3.0)引入异常问题

aliyun-sdk-oss版本

<!-- OSS SDK 相关依赖 -->
        <dependency>
            <groupId>com.aliyun.oss</groupId>
            <artifactId>aliyun-sdk-oss</artifactId>
            <version>3.8.0</version>
        </dependency>

ons-client中包含了rocketmq(也可以直接引起rocketmq的版本)

  <!-- https://mvnrepository.com/artifact/com.aliyun.openservices/ons-client -->
        <dependency>
            <groupId>com.aliyun.openservices</groupId>
            <artifactId>ons-client</artifactId>
            <version>1.8.8.Final</version>
        </dependency>

源码地址

订阅私信博主，免费下载。
java实现并消费rocketmq数据并将数据上传到存储服务器-minio(7.0.2)源码地址
(推荐)java实现并消费rocketmq数据并将数据上传到存储服务器-minio(8.3.0)源码地址

java交流群（限订阅了的加）:868794080

一枚开发小咸鱼
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
java实现生产并消费rocketmq数据并将数据上传到存储服务器上09:阿里云oss删除数据
qq_37716298的博客
09-30 124
上期回顾 java实现生产并消费rocketmq数据并将数据上传到存储服务器上:minio删除数据 阿里云oss删除数据 引入maven包 <!-- OSS SDK 相关依赖 --> <dependency> <groupId>com.aliyun.oss</groupId> <artifactId>aliyun-sdk-oss</artifactId>
【JAVA代码之RocketMQ生产和消费数据】
10-20 631
一、启动RocketMQ [root@master ~]# cat /etc/hosts # Do not remove the following line, or various programs # that require network functionality will fail. 127.0.0.1               localhost.localdomain ...
RocketMQ之消费者带你了解概念和消费流程
最新发布
通往IT大道的专栏
07-08 843
需要注意的是，这里所说的顺序消费指的是队列维度的顺序，即在消费一个队列时，消费消息的顺序和消息发送的顺序一致。为消费者分配队列消费的这一个负载过程并不是一劳永逸的，比如当消费者数量变化、Broker 掉线等情况发生后，原先的负载就变得不再均衡，此时就需要重新进行负载均衡，这一过程被称为重平衡机制。如果是集群消费模式，还需要将消费进度让其他消费者知道，所以需要提交消费进度。在集群消费模式下，消费组中的消费者共同消费订阅的 Topic 中的所有消息，这里就存在 Topic 中的队列如何分配给消费者的问题。
JAVA代码之RocketMQ生产和消费数据
dichengyan0013的博客
09-17 179
一、启动RocketMQ [root@master ~]#cat /etc/hosts # Do not remove the following line, or various programs # that require network functionality will fail. 127.0.0.1 localhost.localdom...
RocketMQ集群、分布式WebSocket实现以及地图找房功能Java代码实现.zip
10-19
在本项目中，我们主要探讨了三个核心主题：Apache RocketMQ集群的构建与管理，分布式WebSocket的实现，以及使用Java编程语言实现的地图找房功能。这些技术都是现代互联网应用开发中的重要组成部分，尤其是在构建高...
JAVA架构RocketMQ单机环境搭建pdf+架构师视频资源
01-17
NameServer是服务发现和路由管理的角色，Producer负责生产消息，Consumer消费消息，而Broker则是存储消息的服务器。 搭建RocketMQ单机环境的步骤如下： 1. **环境准备**：确保系统中已经安装了Java开发环境（JDK）...
java -RocketMQ实战视频教程（上下全集）
01-25
RocketMQ提供了丰富的Java API，使得开发者能够轻松地将RocketMQ集成到Java应用中去。通过Java API，开发者可以方便地发送消息、接收消息、处理消息确认等功能，这对于构建复杂的消息处理系统来说是非常有用的。 ##...
分布式消息系统RocketMQ的Java客户端使用代码示例.zip
10-18
6. **Message Queue**: 消息队列是RocketMQ存储消息的物理单位，每个主题可以有多个消息队列，队列的数量可以在RocketMQ服务器端配置。 7. **Orderly Sending**: RocketMQ提供了顺序消息功能，确保同一线程发送到...
微服务架构【技术点4】windows下rocketMQ配置及java端生产者消费者配置
一名普通码农的菜地
06-25 1355
https://blog.csdn.net/songxinjianqwe/article/details/78923482
传统java项目集成rocketmq队列之消费者
九二战歌的博客
12-06 814
上一篇博客中讲解了传统java工程中如何集成rocketmq生产者，传送门：传统java项目集成rocketmq队列之生产者，本篇博客就来讲一下传统java工程如何集成rocketmq的消费者。同样只讲代码，不讲原理，关键信息都在注释里，有什么不明白的可以评论留言。 2.消费者工具类 3.消费者测试类 4.测试结果截图 这是最基本的集成代码，实际MQ消费者启动时候还可以设置很多参数，当然大部分默认就可以了，代码有什么疑问或者建议，也可以在评论区留言。
RocketMQ详解+部署+案例
Felix_阳的博客
09-04 2076
Github 上关于 RocketMQ 的介绍： RcoketMQ 是一款低延迟、高可靠、可伸缩、易于使用的消息中间件。具有以下特性： 支持发布/订阅（Pub/Sub）和点对点（P2P）消息模型 在一个队列中可靠的先进先出（FIFO）和严格的顺序传递 支持拉（pull）和推（push）两种消息模式 单一队列百万消息的堆积能力 支持多种消息协议，如 JMS、MQTT 等 分布式高可用的部...
RocketMQ消息存储
程序员劝退师的博客
01-18 825
前言 分布式队列因为有高可靠性的要求，所以数据要进行持久化存储。 消息生成者发送消息 MQ收到消息，将消息进行持久化，在存储中新增一条记录 返回ACK给生产者 MQ push 消息给对应的消费者，然后等待消费者返回ACK 如果消息消费者在指定时间内成功返回ack，那么MQ认为消息消费成功，在存储中删除消息，即执行第6步；如果MQ在指定时间内没有收到ACK，则认为消息消费失败，会尝试重新push消息,重复执行4、5、6步骤 MQ删除消息 存储介质 关系型数据库DB Apache下开源的另外一款MQ—
rocketmq消息持久化到mysql_探秘 RocketMQ 消息持久化机制
weixin_32831131的博客
02-11 155
我们知道 RocketMQ 是一款高性能、高可靠的分布式消息中间件，高性能和高可靠是很难兼得的。因为要保证高可靠，那么数据就必须持久化到磁盘上，将数据持久化到磁盘，那么可能就不能保证高性能了。RocketMQ 在兼容这两方面做的不错，先从磁盘说起，现代的磁盘都是高性能的，写速度并不一定比网络的数据传输速度慢。比如 SSD 固态硬盘在 M.2 NVMe协议下，顺序写的速度可以达到 1500 MB/s...
rocketmq - 功能 - 消息存储
qq_39552758的博客
04-19 424
消息存储 分布式队列因为有高可靠性的要求，所以数据要进行持久化存储。 消息生成者发送消息 MQ收到消息，将消息进行持久化，在存储中新增一条记录 返回ACK给生产者 MQ push 消息给对应的消费者，然后等待消费者返回ACK 如果消息消费者在指定时间内成功返回ack，那么MQ认为消息消费成功，在存储中删除消息，即执行第6步；如果MQ在指定时间内没有收到ACK，则认为消息消费失败，会尝试重新push消息,重复执行4、5、6步骤 MQ删除消息 存储介质 关系型数据库DB Apache下开源的另外一款M
RocketMQ-broker如何将收到的生产者消息保存到文件
龚厂长的博客
12-10 690
本文基于RocketMQ 4.7.1版本 上一篇文章介绍了broker的启动，本文介绍broker如何处理收到生产者消息。 文章目录一、进入处理器前的准备 一、进入处理器前的准备 rocketmq在将消息交给SendMessageProcessor前，要做一些准备工作： 解析请求报文，得到请求的类型，rocketmq根据类型找到对应的处理器，也就是SendMessageProcessor； 创建一个Runnable对象，在该对象的run方法里面有对处理器的调用逻辑，在下面介绍该对象，可以认为这里使用了.
Mqtt消费方数据实时入库 cv即用
商朝
06-18 472
mqtt队列中必须为json对象,才能使用此类 <!--Mqtt--> <dependency> <groupId>org.eclipse.paho</groupId> <artifactId>org.eclipse.paho.client.mqttv3</artifactId> <version>1.1.0</version&g
Canal+Mysql+RocketMq实现数据库表记录信息同步
weixin_44685511的博客
08-13 1356
一 前言： 我们都知道一个系统最重要的是数据，而数据是保存在数据库里，但是很多时候不单止要保存在数据库中，还要同步保存到Elastic Search、HBase、Redis等等，那么我们将如何把数据同步到其他的存储引擎中呢？ 传统的同步手段无非是通过业务逻辑中代码的调用，但是这样业务和数据同步功能存在不小的耦合性，所以觉得这种方式不是很优雅，后期扩展性也不是很强，这时突然了解到阿里开源的框架Canal，它可以很方便地同步数据库的增量数据到其他的存储应用 官网提供的示意图： 二 搭建My...
2台服务器各有2台MQ,同时拉取数据如何避免重复消费java代码
06-10
在多台服务器上部署多个MQ的情况下，为了避免重复消费，可以采用以下两种方式： 1. 使用MQ的消息分组功能：在将消息发布到MQ时，可以设置消息的分组ID，让不同的消息被分到不同的分组，然后在每个消费者实例中设置相同的分组ID，这样每个消费者实例只会消费其所属的分组中的消息。 2. 使用MQ的消息去重功能：在消费消息时，可以将已经消费过的消息的ID记录下来，下次再消费消息时，先检查该消息ID是否已经被消费过，如果已经被消费过，则不再进行消费。 下面是Java代码示例： 使用RocketMQ的消息分组功能： ``` DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("consumer_group"); consumer.subscribe("topic_name", "*"); consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET); consumer.setMessageListener(new MessageListenerConcurrently() { @Override public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) { for (MessageExt msg : msgs) { // 处理消息 } return ConsumeConcurrentlyStatus.CONSUME_SUCCESS; } }); consumer.start(); ``` 使用Redis的消息去重功能： ``` // 消费消息 public void consumeMessage(Message message) { String messageId = message.getMessageId(); if (redisTemplate.opsForValue().setIfAbsent(messageId, "1")) { // 处理消息 redisTemplate.expire(messageId, 60, TimeUnit.SECONDS); } else { // 消息已经被消费过 } } ``` 这里使用了Redis的setIfAbsent方法来判断消息ID是否已经存在，如果不存在则将其写入Redis，并设置过期时间。如果消息ID已经存在，则说明该消息已经被消费过，不再进行消费。同时，为了避免Redis中存储的消息ID占用过多内存，可以为其设置过期时间，使其自动过期。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一枚开发小咸鱼

原创不宜，请作者喝杯咖啡吧。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值