roketMQ踩坑

目前公司老版本的自动推送系统扩展能力太差，加上目前的业务量增大，对老版本的二次开发已经越来越不可靠，所以通过讨论，提出了新的方案，使用消息中间件+缓存机制，所有数据全部出中间件中获取，不在进行查库，大量的基础数据，也都写入缓存，减少数据库的读写。

由于之前使用过redis作为缓存服务器，这方面比较顺手，消息中间之前并没有接触过，使用的阿里开源的 roketmq 。因为是第一次用，所有中间踩了无数的坑，被领导抓diao了无数次。鉴于此，要之前踩过的坑全部记录。

踩坑之前，先大致介绍一下roketmq

RocketMQ 是一款分布式、队列模型的消息中间件，具有以下特点：

• 能够保证严格的消息顺序

• 提供丰富的消息拉取模式

• 高效的订阅者水平扩展能力

• 实时的消息订阅机制

• 亿级消息堆积能力

• Metaq3.0 版本改名，产品名称改为RocketMQ

专业术语

topic

消息主题，用于标记消息

togs

消息标签，用于标记消息，小于topic

  producer 

消息生产者，负责生产消息，一般由业务系统负责产生消息

consumer

消息消费者，负责消费消息，一般是后台系统负责异步消费。

push consumer

consumer的一种，应用通常向consumer对象注册一个listener接口，一旦接收到消息，consumer对象立刻回掉Listener接口方法。

producer group

一类producer 的集合 名称，这类produce通常发送一类消息，且发送逻辑一致。

consumer group

一类consumer的集合名称，这类consumer通常消费一类信息，且消费逻辑一致。

broker

消息中转角色，负责存储消息，转发消息，一般也称为server，在jms规范中成为 provider

广播消费

一条信息被多个consumer消费，即使这些consumer属于同一个consumer group，消息也会被consumer group 中的每一个consumer都消费一次，广播消费中的consumer group 概念可以认为在消息划分方面无意义。

在 CORBA Notification 规范中，消费方式都属于广播消费。

在JMS 规范中，相当于JMS publish/subscribe model

集群消费

一个consumer group 中的consumer实例平均分摊消费信息，例如某个topic有9条消息，其中一个consumer group 有3个实例（可能是3个进程，或者3台机器），那么每个实例只消费其中的3条消息。在ORBA Notification 规范中，无此消费方式。

在JMS规范中，JMS point-to-point model 与之类似，但是rocketMQ的集群消费功能大等于PTP模型。因为RocketMQ单个consumer group 内的消费者类似于PTP，但是一个Topic/Queue可以被多个consumer group 消费。

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

消费消息中踩过的坑，开发语言 JAVA，目前MQ 也 只提供了 java的API

1.消息总量大，消费后的对数据的处理有多种不同的方式，所以项目为多目录结构，并且打成多个不同的war包用来部署。

多部署时，如果对mq的工作机制不熟悉，就会导致数据异常。

在消费的同时，会实例化consumer group 对象，指定 某个consumer group 对象去消费那类topic的消息。如果启动2个机器，就有两个consumer 实例去消费同一个topic中的数据，如果两个consumer group 消费数据后对数据做同样的处理，则会加大数据处理的数据，如果要做不同的业务，应指定不同的consumer group。之前就发生了，使用了一个consumer group 去消费同一个的topic数据，做了不同的业务，导致两边的业务都造成数据缺失的情况！！

2.consumer group 应该通过运维命令创建，不使用应用启动后自生成的consumer group。

在测试环境中发布后，测试通过后 部署到正式环境，发生了数据丢失的情况。通过排查后发现，在consumer group 删除后，在重建，数据丢失的情况基本没有。