1.5.6 RocketMQ 高性能最佳实践

最新推荐文章于 2023-10-09 23:38:16 发布
最新推荐文章于 2023-10-09 23:38:16 发布
阅读量250 收藏
点赞数
分类专栏： 消息中间件 文章标签： java 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43871142/article/details/105116468
版权

Producer 最佳实践

  1. 一个应用尽可能用一个Topic，消息子类型用tags来标识，tags可以由应用自由设置

只有发送消息设置了tags，消费方在订阅消息时，才可以利用tags在broker做消息过滤

message.setTags("TagA");

  1. 每个消息在业务层面的唯一标识码，要设置到keys字段，方便将来定位消息丢失问题

服务器会为每个消息创建索引（哈希索引），应用可以通过topic，key来查询这条消息内容，以及消息被谁消费

由于是哈希索引，请务必保证key尽可能唯一，这样可以避免潜在的哈希冲突

//订单ID
String orderId = "1250689524981";
message.setKeys(orderId);
  1. 如有可靠性需要，消息发送成功或者失败，要打印消息日志（sendresult和key信息）
  2. 如果相同性质的消息量大，使用批量消息，可以提升性能
  3. 建议消息大小不超过512KB
  4. send(msg)会阻塞，如果有性能要求，可以使用异步的方式：send（msg,callback)
  5. 如果在一个JVM中，有多个生产者进行大数据处理，建议：
  • 少数生产者使用异步发送方式（3～5个就够了）
  • 通过setInstanceName方法，给每个生产者设置一个实例名
  1. send消息方法，只要不抛异常，就代表发送成功。但是发送成功会有多个状态，在sendResult里定义
  • SEND_OK：消息发送成功
  • FLUSH_DISK_TIMEOUT：消息发送成功，但是服务器刷盘超时，消息已经进入服务器队列，只有此时服务器宕机，消息才会消失
  • FLUSH_SLAVE_TIMEOUT：消息发送成功，但是服务器同步到Slave时超时，消息已经进入服务器队列，只有此时服务器宕机，消息才会丢失
  • SLAVE_NOT_AVAILABLE：消息发送成功，但是此时slave不可用，消息已经进入服务器队列，只有此时服务器宕机，消息才会丢失
  • 如果状态是FLUSH_DISK_TIMEOUT或FLUSH_SLAVE_TIMEOUT，并且Broker正好关闭，此时，可以丢弃这条消息，或者重发。但建议最好重发，由消费端去重
  • Producer向Broker发送请求会等待响应，但如果达到最大等待时间，未得到响应，则客户端将抛出RemotingTimeoutException
  • 默认等待时间是3秒，如果使用send(msg,timeout),则可以自己设定超时时间，但超时时间不能设置太小，因为Broker需要一些时间来刷新磁盘或与从属设备同步
  • 如果该值超过syncFlushTimeout,则该值可能影响不大，因为Broker可能会在超时之前返回FLUSH_DISK_TIMEOUT或FLUSH_SLAVE_TIMEOUT的响应
  1. 对于消息不可丢失应用，务必要有消息重发机制
    producer的send方法本身支持内部重试：
    一、至多重试3次
    二、如果发送失败，则轮转到下一个Broker
    三、这个方法的总耗时时间不超过sendMsgTimeout设置的值，默认10s。所以，如果本身想broker发送消息产生超时异常，就不会再做重试
    以上策略任然不能保证消息一定发送成功，为保证消息一定成功，建议将消息存储到db,由后台线程定时重试，保证消息一定到达broker

1.1、安装rocketmq可视化管理

    1、直接下载https://github.com/apache/rocketmq-externals的rocketmq-console-1.0.0分支的zip包(这样快一些)
    2、编译为jar(我用的是Idea的maven进行打包，打包有点儿慢)
    3、启动(直接在jar包路径下执行如下命令)
        # jar包在target目录下面，你可以放在一台服务器上面运行
        java -jar rocketmq-console-ng-1.0.0.jar --server.port=8081 --rocketmq.config.namesrvAddr=192.168.0.32:9876
        # --server.port springboot内置tomcat的端口号，默认8080；
        # --rocketmq.config.namesrvAddr  nameserver的地址
    4、启动后访问http://127.0.0.1:8081        
    官网使用文档(中文)：https://github.com/apache/rocketmq-externals/blob/master/rocketmq-console/doc/1_0_0/UserGuide_CN.md

最佳实践之Consumer

2.1、消费者组和订阅

不同的消费群体可以独立地消费同样的主题，并且每个消费者都有自己的消费偏移量(offsets)。
确保同一组中的每个消费者订阅相同的主题

3、消息监听器(MessageListener)

3.1、顺序(Orderly)
消费者将锁定每个MessageQueue,以确保每个消息被一个按顺序使用。这将导致性能损失。
如果关心消息的顺序时，它就很有用了。不建议抛出异常，可以返回
ConsumeOrderlyStatus.SUSPEND_CURRENT_QUEUE_A_MOMENT代替

3.2、消费状况(Consume Status)
对于MessageListenerConcurrently,可以返回RECONSUME_LATER告诉消费者，当前不能消费它并且希望以后重新消费。
然后可以继续使用其他消息。对于MessageListenerOrderly,如果关心顺序，就不能跳过消息，可以返回SUSPEND_CURRENT_QUEUE_A_MOMENT来告诉消费者等待片刻。

1、当MessageExt出现异常时，会由当前topic变为RETRYtopic(假设当前topic名称为topic_test,就会变为RETRYtopic_test)
2、retrytopic这个就是延时topic,也就是将这个非延时消息变为延时消息，延时时间就根据level从第一次第一级，不断的往上加

3.3、阻塞(Blocking)
不建议阻塞Listener,因为他会阻塞线程池，最终可能会停止消费程序。

3.4、线程数
消费者使用一个ThreadPoolExecutor来处理内部的消费，因此可以通过设置setConsumeThreadMin或setConsumeThreadMax来更改它。

3.5、从何处开始消费
1、当建立一个新的Consumer Group时，需要决定是否需要消费Broker中已经存在的历史消息。
2、CONSUME_FROM_LAST_OFFSET将忽略历史消息，并消费此后生成的任何内容。
3、CONSUME_FROM_FIRST_OFFSET将消耗Broker中存在的所有消息。还可以使用CONSUME_FROM_TIMESTAMP来消费在指定的时间戳之后生成的消息。
参考代码：手动pull【E:\meWork\study\project\subject-2\subject-2-mq\rocketmq-demo1\src\main\java\com\study\rocketmq\a151_simple\PullConsumer.java】

3.6、重复
RocketMQ无法避免消息重复，如果业务对重复消息非常敏感，务必在业务层面做去重：
1、通过记录消息唯一键进行去重
2、使用业务层面的状态机制去重

4、最佳实践之NameServer

在Apache RocketMQ中，NameServer用于协调分布式系统的每个组件，主要通过管理主题路由信息来实现协调。
管理由两部分组成：
1、Brokers定期更新保存在每个名称服务器中的元数据。
2、名称服务器是为客户端提供最新的路由信息服务的，包括生产者、消费者和命令行客户端。
因此，在启动brokers和clients之前，我们需要告诉他们如何通过给他们提供的一个名称服务器地址列表来访问名称服务器。在Apache RocketMQ中，可以用四种方式完成。

4.1 四种配置namesrvAddr的方式
1、编程方式
1. 对于brokers，我们可以在broker的配置文件中指定
namesrvAddr=name-server-ip1:port;name-server-ip2:port
2. 对于生产者和消费者，我们可以给他们提供姓名服务器地址列表如下：

DefaultMQProducer producer=new DefaultMQProducer("please_rename_unique_group_name");
                producer.setNamesrvAddr("name-server-ip1:port;name-server-ip2:port");
                
 DefaultMQPushConsumer consumer=new DefaultMQPushConsumer("please_rename_unique_group_name");
                consumer.setNamesrvAddr("name-server-ip1:port;name-server-ip2:port");

  1. 如果从shell中使用管理命令行，也可以这样指定：
    sh mqadmin command-name-n name-server-ip1:port;name-server-ip2:port -X OTHER-OPTION

  2. 如果将管理工具集成到自己的项目中，可以这样
    DefaultMQAdminExt defaultMQAdminExt = new DefaultMQAdminExt("please_rename_unique_group_name"); defaultMQAdminExt.setNamesrvAddr("name-server-ip1:port;name-server-ip2:port");
    一个简单的例子，在NameServer节点上查询集群信息：
    sh mqadmin -n localhost:9876 clusterList
    2. Java参数
    NameServer的地址列表也可以通过java参数rocketmq.namesrv.addr,在启动之前指定
    3. 环境变量
    可以设置NAMESRV_ADDR环境变量。如果设置了，Broker和clients将检查并使用其值
    4. HTTP端点(HTTP Endpoint)
    如果没有使用前面提到的方法指定NameServer地址列表，Apache RocketMQ将每2分钟发送一次HTTP请求，以获取和更新NameServer地址列表，初始延迟10秒。
    默认情况下，访问的HTTP地址是：http://jmenv.tbsite.net:8080/rocketmq/nsaddr
    通过java参数rocketmq.namesrv.domain,可以修改jmenv.tbsite.net
    通过java参数rocketmq.namesrv.domain.subgroup,可以修改nsaddr

    这4中方式的优先级：编程方式 > Java参数 > 环境变量 > HTTP方式

5.JVM与Linux内核配置

5.1. JVM配置
1、推荐使用最新发布的JDK1.8版本，使用服务器编译器和8g堆。
2、设置相同的Xms和Xmx值，以防止JVM调整堆大小以获得更好的性能。简单的JVM配置如下所示：
-server -Xms8g -Xmx8g -Xmn4g
3、如果不关心Broker的启动时间，可以预先触摸Java堆，以确保在JVM初始化期间分配页是更好的选择。
-XX:+AlwaysPreToush
4、禁用偏置锁定可能会减少JVM暂停
-XX:-UseBiasedLocking
5、对于垃圾回收，建议使用G1收集器
-XX:+UseG1GC -XX:G1HeapRegionSize=16m -XX:G1ReservePercent=25 -XX:InitiatingHeapOccupancyPercent=30
这些GC选项看起来有点激进，但事实证明它在生产环境中具有良好的性能。
-XX:MaxGCPauseMillis不要设置太小的值，否则JVM将使用一个小的新生代，这将导致非常频繁的新生代GC。
6、推荐使用滚动GC日志文件
-XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=30m
7、如果写入GC文件会增加代理的延迟，请将重定向GC日志文件考虑在内存文件系统中
-Xloggc:/dev/shm/mq_gc_%p.log

5.2、Linux内核配置

1、在bin目录中，有一个os.sh脚本列出了许多内核参数，只需要稍微的修改，就可以用于生产环境。
2、以下参数需要注意，详细信息请参考
https://www.kernel.org/doc/Documentation/sysctl/vm.txt

weixin_43871142
关注
专栏目录
rocketmq客户端,各版本通用
04-30
基于官方源码打包的 rocketmq客户端,各功能齐全,非常好用. 压缩包里已经有windows和linux的启动脚本. server.port 可以配置客户端访问的端口.例:--server.port=8080 rocketmq.config.namesrvAddr 可以配置rocketmq的访问地址,例:--rocketmq.config.namesrvAddr=192.168.2.55:9876;192.168.2.54:9876
【有料】Rocketmq原理&最 佳实践
daobuxinzi的博客
06-07 329
一、 MQ背景&选型 消息队列作为高并发系统的核心组件之一，能够帮助业务系统解构提升开发效率和系统稳定性。主要具有以下优势： 削峰填谷（主要解决瞬时写压力大于应用服务能力导致消息丢失、系统奔溃等问题） 系统解耦（解决不同重要程度、不同能力级别系统之间依赖导致一死全死） 提升性能（当存在一对多调用时，可以发一条消息给消息系统，让消息系统通知相关系统） 蓄流压测（线上有些链路不好压测，可以通过堆积一定量消息再放开来压测） 目前主流的MQ主要是Rocketmq、kafka、Rabbitmq，Ro
Rocket MQ【4】下载/安装/启动/关闭（附高版本JDK配置）
说淑人的所思所想
06-15 1085
Rocket MQ【4】下载/安装/启动/关闭（附高版本JDK配置）
解决RocketMQ不支持JDK1.8以上版本
qq_41853447的博客
12-28 5455
当RocketMQ4.5.1遇到JDK14后却出现了无法启动nameserver的问题。原因就是RocketMQ仍然是按着JDK8的配置做为启动的。所以需要更改RocketMQ配置适应JDK14环境，这里修改的所有文件都在 rocketmq-all-4.5.1-bin-release/bin目录下。 更改runserver.sh 更改 CLASSPATH的值为：${BASE_DIR}/lib/rocketmq-broker-4.5.0.jar:${BASE_DIR}/lib/*:${BASE_DIR}/
rocketmq兼容不了jdk8以上版本解决方案
newbie的博客
10-09 535
版本兼不兼容永远都是值得重视的问题！我用的win10（听说linux下解决会不同，谨慎），jdk17，rocketm,4.9.2
Xcore LA系列高性能非制冷红外机芯组件产品说明书（V1.5.6）
最新发布
10-10
《Xcore LA系列高性能非制冷红外机芯组件产品说明书（V1.5.6）》 本产品说明书详细介绍了Xcore LA系列的高性能非制冷红外机芯组件，该系列涵盖不同分辨率型号，包括384×288、640×512以及1024×768像素，旨在提供...
axis2-1.5.6完整版
12-14
Axis2 是基于 Axis1 构建的，但进行了重设计，以提高性能和灵活性。它采用了模块化架构，允许用户按需选择功能，降低了应用程序的大小和复杂性。在 Axis2 中，Web 服务被表示为服务组件（Service Components），这些...
memcached 1.5.6 windows版本，32位+64位
03-09
由windows 的Cygwin编译的版本，可以直接使用，随下随用
OpenCart 1.5.6 安装包
09-23
OpenCart 1.5.6 是一款流行的开源电子商务平台，为全球商家提供了一种便捷、易用的方式来构建和管理在线商店。相比于国内的一些开源商城系统，OpenCart 的优点在于其简洁的代码结构、丰富的功能集以及强大的社区支持...
Lore v1.5.6.zip
06-18
【标题】"Lore v1.5.6.zip" 是一个软件版本的压缩包，其中包含的是名为"Lore"的应用程序的1.5.6版本的文件。在IT行业中，软件版本号通常遵循一定的规则，如X.Y.Z，其中X代表主版本，Y代表次版本，Z代表修订或补丁...
RocketMQ踩坑
12-22
今天刚开始学 RocketMQ，在运行的时候 Name Server 就怎么也运行不起来，捣鼓了很长时间才弄好，在这里把解决方法记录下来 版本说明 操作系统：MacOS 10.13.5 RocketMQ版本： 4.5.1 情景复现 下载 rocketmq-all-4.5.1-bin-release.zip 后，使用如下命令解压 unzip rocketmq-all-4.5.1-bin-release.zip 切换目录到 RocketMQ 根目录并启动 Name Server > cd rocketmq-all-4.5.1-bin-release > nohup sh bin/mqnamesr
RocketMQ控制台jdk1.8以上版本报错问题解决
qq_35088105的博客
08-26 605
nested exception is java.lang.NoClassDefFoundError: javax/xml/bind/ValidationException，所以我自己整理了一个版本。今天主要讲一下RocketMQ控制台的简单搭建和使用，有了这个控制台，我们就可以很方便的通过界面对我们的RocketMQ进行查看和管理。1.idea mvn工程导入工程代码：修改namesrv地址即可；PS：有需要可以修改启动端口～～～，可以直接下载下来直接打包运行。
RocketMQ-单机版安装与启动详细步骤
秃了也弱了
01-13 2948
目录 一、准备工作 软硬件需求 下载RocketMQ安装包 ​二、修改启动参数 修改runserver.sh 修改runbroker.sh 三、启动 启动NameServer 启动broker 四、发送/接收消息测试 发送消息 五、关闭Server 一、准备工作 软硬件需求 linux系统要求是64位的，JDK要求是1.8及其以上版本的。 下载RocketMQ安装包 将下载的安装包上传到Linux。 unzip命令解压。 ...
Apache RocketMQ 命令注入
YJ_12340的博客
08-08 764
RocketMQ 5.1.0及以下版本，在一定条件下，存在远程命令执行风险。RocketMQ的NameServer、Broker、Controller等多个组件外网泄露，缺乏权限验证，攻击者可以利用该漏洞利用更新配置功能以RocketMQ运行的系统用户身份执行命令。此外，攻击者可以通过伪造 RocketMQ 协议内容来达到同样的效果。影响版本安全版本。
初始RocketMQ
qq_45888932的博客
06-13 1717
RocketMQ基本概念
RocketMQ整合SpringBoot
weixin_47638656的博客
02-18 1092
SpringBoot整合RocketMQ pom.xml <dependency> <groupId>org.apache.rocketmq</groupId> <artifactId>rocketmq-spring-boot-starter</artifactId> <version>${rocketmq.version}</version> </d
RocketMQ最佳实践
Flyer的后花园
12-05 823
一、Producer最佳实践 1、一个应用尽可能用一个 Topic，消息子类型用 tags 来标识，tags 可以由应用自由设置。只有发送消息设置了tags，消费方在订阅消息时，才可以利用 tags 在 broker 做消息过滤。 2、每个消息在业务层面的唯一标识码，要设置到 keys 字段，方便将来定位消息丢失问题。由于是哈希索引，请务必保证 key 尽可能唯一，这样可以避免潜在的哈
RocketMQ——其他注意事项
meilong_whpu的专栏
08-11 1597
1 消息过滤的方式1、简单消息过滤。订阅时指定topic下面tags；2、高级消息过滤。2.1）Broker所在的机器会启动多个FilterServer过滤进程；2.2）Consumer启动后，会向FilterServer上传一个过滤的Java类；2.3）Consumer从FilterServer拉消息，FilterServer将请求转发给Broker，FilterServer从Broker收到消息
阿里云kafka使用springboot单个项目中同时消费不同topic
danssion的专栏
08-04 1388
本来是个简单的问题，但是复杂了。 两个topic 消费方式不一样，一个使用过的是默认方式，不指定partition，另外一个，指定了特殊的partition。报错： 11:10:32.888 [org.springframework.kafka.KafkaListenerEndpointContainer#1-0-C-1] ERROR o.a.k.c.c.i.ConsumerCoordinator - [Consumer clientId=futures_deal_group-1302249340
Opencart 1.5.6 数据库模式解析
"本文将详细介绍OpenCart 1.5.6版本的数据字典，包括Address表和Affiliate表的结构和用途。" OpenCart是一个流行的开源电子商务平台，它使用MySQL数据库来存储各种信息，如产品、客户、订单等。在OpenCart 1.5.6...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值