JAVA代码之RocketMQ生产和消费数据

254 篇文章 5 订阅

 

二、生产和消费数据

生产:下载

package cn.cn.mq.demo;

 

import java.util.concurrent.TimeUnit;

 

import com.alibaba.rocketmq.client.exception.MQClientException;

import com.alibaba.rocketmq.client.producer.DefaultMQProducer;

import com.alibaba.rocketmq.client.producer.SendResult;

import com.alibaba.rocketmq.common.message.Message;

 

public class Producer {

   public static void main(String[] args) throws MQClientException,

         InterruptedException{

      /**

       * 一个应用创建一个Producer,由应用来维护此对象,可以设置为全局对象或者单例<br>

       * 注意:ProducerGroupName需要由应用来保证唯一<br>

       * ProducerGroup这个概念发送普通的消息时,作用不大,但是发送分布式事务消息时,比较关键,

       * 因为服务器会回查这个Group下的任意一个Producer

       */

      final DefaultMQProducer producer = new DefaultMQProducer("ProducerGroupName");

      producer.setNamesrvAddr("192.168.1.103:9876");

      producer.setInstanceName("Producer");

 

      /**

       * Producer对象在使用之前必须要调用start初始化,初始化一次即可<br>

       * 注意:切记不可以在每次发送消息时,都调用start方法

       */

      producer.start();

 

      /**

       * 下面这段代码表明一个Producer对象可以发送多个topic,多个tag的消息。

       * 注意:send方法是同步调用,只要不抛异常就标识成功。但是发送成功也可会有多种状态,<br>

       * 例如消息写入Master成功,但是Slave不成功,这种情况消息属于成功,但是对于个别应用如果对消息可靠性要求极高,<br>

       * 需要对这种情况做处理。另外,消息可能会存在发送失败的情况,失败重试由应用来处理。

       */

      for (int i = 0; i < 3; i++){

         try {

            {

                Message msg = new Message("TopicTest1",// topic

                      "TagA",// tag

                      "OrderID001",// key

                      ("我的名字是程序员:"+i).getBytes());// body

                SendResult sendResult = producer.send(msg);

                System.out.println(sendResult);

            }

            

            {

                Message msg = new Message("TopicTest1",// topic

                      "TagC",// tag

                      "OrderID001",// key

                      ("我来测试RocketMQ:"+i).getBytes());// body

                SendResult sendResult = producer.send(msg);

                System.out.println(sendResult);

            }

         }catch(Exception e) {

            e.printStackTrace();

         }

         TimeUnit.MILLISECONDS.sleep(4000);

      }

 

      /**

       * 应用退出时,要调用shutdown来清理资源,关闭网络连接,从MetaQ服务器上注销自己

       * 注意:我们建议应用在JBOSS、Tomcat等容器的退出钩子里调用shutdown方法

       */

//    producer.shutdown();

      Runtime.getRuntime().addShutdownHook(new Thread(new Runnable() {

         public void run() {

            producer.shutdown();

         }

      }));

      System.exit(0);

   }

}

 

消费:下载

package cn.cn.mq.demo;

 

import java.util.List;

 

import com.alibaba.rocketmq.client.consumer.DefaultMQPushConsumer;

import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;

import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;

import com.alibaba.rocketmq.client.consumer.listener.MessageListenerConcurrently;

import com.alibaba.rocketmq.client.exception.MQClientException;

import com.alibaba.rocketmq.common.message.MessageExt;

 

public class PushConsumer {

/**

* 当前例子是PushConsumer用法,使用方式给用户感觉是消息从RocketMQ服务器推到了应用客户端。<br>

* 但是实际PushConsumer内部是使用长轮询Pull方式从MetaQ服务器拉消息,然后再回调用户Listener方法<br>

*/

public static void main(String[] args) throws InterruptedException,

MQClientException {

/**

* 一个应用创建一个Consumer,由应用来维护此对象,可以设置为全局对象或者单例<br>

* 注意:ConsumerGroupName需要由应用来保证唯一

*/

DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(

"ConsumerGroupName");

consumer.setNamesrvAddr("192.168.1.103:9876");

consumer.setInstanceName("Consumber");

 

/**

* 订阅指定topic下tags分别等于TagA或TagC或TagD

*/

consumer.subscribe("TopicTest1", "TagA || TagC || TagD");

/**

* 订阅指定topic下所有消息<br>

* 注意:一个consumer对象可以订阅多个topic

*/

//consumer.subscribe("TopicTest2", "*");

 

consumer.registerMessageListener(new MessageListenerConcurrently() {

 

public ConsumeConcurrentlyStatus consumeMessage(

List<MessageExt> msgs, ConsumeConcurrentlyContext context) {

 

System.out.println(Thread.currentThread().getName()

+ " Receive New Messages: " + msgs.size());

 

MessageExt msg = msgs.get(0);

if (msg.getTopic().equals("TopicTest1")) {

// 执行TopicTest1的消费逻辑

if (msg.getTags() != null // 执行TagA的消费

&& msg.getTags().equals("TagA")) {

System.out.println("TagA:"+new String(msg.getBody()));

} else if (msg.getTags() != null// 执行TagC的消费

&& msg.getTags().equals("TagC")) {

System.out.println("TagC:"+new String(msg.getBody()));

} else if (msg.getTags() != null// 执行TagD的消费

&& msg.getTags().equals("TagD")) {

System.out.println("TagD:"+new String(msg.getBody()));

}

}  

return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;

 

}

});

 

/**

* Consumer对象在使用之前必须要调用start初始化,初始化一次即可<br>

*/

consumer.start();

 

System.out.println("ConsumerStarted.");

}

}

 

三、验证消费结果  下载

[root@master bin]# sh mqadmin topicList -n 192.168.1.103:9876

BenchmarkTest

TopicTest1

DefaultCluster

SELF_TEST_TOPIC

%RETRY%please_rename_unique_group_name_4

%RETRY%ConsumerGroupName

TBW102

gaojingsong

master

OFFSET_MOVED_EVENT

[root@master bin]# sh mqadmin  topicStatus -n  192.168.1.103:9876 -t TopicTest1

#Broker Name                      #QID  #Min Offset           #Max Offset             #Last Updated

master                            0     0                     4                       2016-10-20 14:38:19,236

master                            1     0                     4                       2016-10-20 14:38:19,243

master                            2     0                     2                       2016-10-20 14:38:15,171

master                            3     0                     2                       2016-10-20 14:38:15,180

[root@master bin]# shutdown -h now

 


 

 

消费数据

 



 

 

四、错误解决方案 下载

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
下面是一个简单的 Java 代码示例,用于将消息队列中的数据消费并写入 ClickHouse 数据库中: ```Java import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import com.alibaba.fastjson.serializer.SerializerFeature; import com.baomidou.mybatisplus.core.toolkit.StringUtils; import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer; import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext; import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus; import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently; import org.apache.rocketmq.common.message.MessageExt; public class RocketMQConsumer { private static final String CLICKHOUSE_JDBC_DRIVER = "ru.yandex.clickhouse.ClickHouseDriver"; private static final String CLICKHOUSE_DB_URL = "jdbc:clickhouse://localhost:8123/default"; public static void main(String[] args) throws Exception { // 设置 RocketMQ 消费者 DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ConsumerGroup"); consumer.setNamesrvAddr("localhost:9876"); consumer.subscribe("Topic", "*"); // 注册 RocketMQ 消息监听器 consumer.registerMessageListener(new MessageListenerConcurrently() { @Override public ConsumeConcurrentlyStatus consumeMessage( java.util.List<MessageExt> msgs, ConsumeConcurrentlyContext context) { for (MessageExt msg : msgs) { // 将消息转换成 JSON 对象 String jsonString = new String(msg.getBody()); JSONObject json = JSON.parseObject(jsonString); // 构造 ClickHouse SQL 语句 String sql = "INSERT INTO mytable (field1, field2, field3) VALUES (?, ?, ?)"; // 获取 ClickHouse 连接 try (Connection conn = DriverManager.getConnection(CLICKHOUSE_DB_URL); PreparedStatement pstmt = conn.prepareStatement(sql)) { // 设置 SQL 参数 pstmt.setString(1, json.getString("field1")); pstmt.setInt(2, json.getIntValue("field2")); pstmt.setDouble(3, json.getDoubleValue("field3")); // 执行 SQL 语句 pstmt.executeUpdate(); } catch (SQLException e) { e.printStackTrace(); } } // 返回消费状态 return ConsumeConcurrentlyStatus.CONSUME_SUCCESS; } }); // 启动 RocketMQ 消费者 consumer.start(); System.out.println("Consumer started"); } } ``` 在这个示例中,我们使用了 RocketMQ 的 DefaultMQPushConsumer 类来消费消息,然后将消息转换成 JSON 对象,并构造 ClickHouse 的 SQL 语句。接下来,我们获取 ClickHouse 的连接,并使用 PreparedStatement 对象设置 SQL 参数并执行 SQL 语句。最后,我们返回消费状态并启动消费者。 需要注意的是,在使用 ClickHouse JDBC 驱动程序时,需要将 ClickHouse JDBC 驱动程序添加到类路径中。可以从 ClickHouse 官网下载 ClickHouse JDBC 驱动程序,并将其添加到项目的 classpath 下。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值