mq使用经验

最新推荐文章于 2024-01-15 21:31:28 发布

weixin_33969116

最新推荐文章于 2024-01-15 21:31:28 发布

阅读量748

点赞数

文章标签： java 运维后端

1、Producer使用指南--发送消息注意事项

1、正常情况下一个业务系统尽可能用一个Topic，消息子类型用tags来标识，tags可以由业务系统自由设置。只有发送消息设置了tags，消费方在订阅消息时，才可以利用tags在broker做消息过滤。

MQCPMessage msg = new MQCPMessage(); // 初始化消息对象

message.setTags("TagA"); // 设置消息TAG

2、每个消息在业务层面的唯一标识码，要设置到keys字段，方便将来定位消息丢失问题。服务器会为每个消息创建索引（哈希索引），应用可以通过topic，key来查询这条消息内容，以及消息被谁消费。由于是哈希索引，请务必保证key尽可能唯一，这样可以避免潜在的哈希冲突。

MQCPMessage msg = new MQCPMessage(); // 初始化消息对象

message.setTags("TagA"); // 设置消息TAG

String orderId = "20034568923546"; // 订单Id

message.setKeys(orderId);

3、消息发送成功或者失败，要打印消息日志，务必要打印sendresult和key字段。

4、send消息方法，只要不抛异常，就代表发送成功。但是发送成功会有多个状态，在sendResult里定义

5、对于消息不可丢失应用，务必要有消息重发机制。例如如果消息发送失败，存储到数据库，能有定时程序尝试重发，或者人工触发重发。

2、Consumer使用指南--消费端去重

RocketMQ无法避免消息重复，所以如果业务对消费重复非常敏感，务必要在业务层面去重，有以下几种去重方式:

1. 将消息的唯一键，可以是msgID，也可以是消息内容中的唯一标识字段，例如订单Id等，消费之前判断是否在Db或Tair(全局KV存储)中存在，如果不存在则插入，并消费，否则跳过。（实际过程要考虑原子性问题，判断是否存在可以尝试插入，如果报主键冲突，则插入失败，直接跳过）msgId一定是全局唯一标识符，但是可能会存在同样的消息有两个不同msgId的情况（有多种原因），这种情况可能会使业务上重复消费，建议最好使用消息内容中的唯一标识字段去重。

2. 使用业务层面的状态机去重

5、如何判断发送消息是否成功？

客户端Producer调用send消息方法，只要不抛异常，就代表发送成功。但是发送成功会有多个状态，在sendResult里定义。

返回状态	状态释义
SEND_OK	消息发送成功
FLUSH_DISK_TIMEOUT	消息发送成功，但是服务器刷盘超时，消息已经进入服务器队列，只有此时MASTER服务器宕机，消息才会丢失
FLUSH_SLAVE_TIMEOUT	消息发送成功，但是服务器同步到Slave时超时，消息已经进入服务器队列，只有此时SLAVE服务器宕机，消息才会丢失
SLAVE_NOT_AVAILABLE	消息发送成功，但是此时SLAVE不可用，消息已经进入服务器队列，只有此时SLAVE服务器宕机，消息才会丢失

目前MQCP测试和生产环境集群都采用两主两从共4台Broker机器，针对大部分业务系统来讲，只要MQCP没有抛出异常，可以默认消息已成功发送。建议业务系统针对发送消息后所有非SEND_OK状态的消息，打印Warning日志，并在运营端设置对应的监控规则，及时发邮件提醒。

6、如何判断消费消息是否成功？

客户端Consumer在MQCPMessageListener中实现pushMessage()，遍历并处理消息后会返回给MQCP端消费的状态，状态只有消费成功或者消费失败两种状态。

消费状态	状态释义
CONSUME_OK	消费成功
CONSUME_FAIL	消费失败

7、消费端如何实现定时消费？

在某些业务场景下，消费端希望在业务低峰(例如半夜12点后)时开始从MQCP拉取消息，在业务高峰期前关闭掉消费功能，以此来降低系统负载。这种类似场景涉及到如何在不停业务服务的场景下，多次的开启和关闭MQCP消费服务。

MQCP的消费者本身是可以多实例初始化的，每个实例的消费者服务开启和关闭也是独立的，所以可以很良好的支持定时消费的场景。

如果业务系统有类似的需求，我们建议：

1. 业务系统本身需要添加功能开关，支持配置化的方式来开启或关闭消费服务。其实现本身比较简单，就是调用MQCP消费者的start || shutdown方法。必要时需要对方法添加上层逻辑封装，来实现定制化的需求。

2. 调用完consumer对象的shutdown方法后，不要立即初始化下一个consumer对象并启用服务，建议至少延迟几秒种，等相关的资源回收完毕。

3. 完善业务端开启或关闭消息服务的日志，方便后续运维处理问题。

4. 具体实现方式，可以参考下面TestTimedConsumeImpl类。

import java.io.UnsupportedEncodingException;
import java.util.ArrayList;
import java.util.List;
import java.util.Properties;

import com.paic.mqcp.client.MQCPFactory;
import com.paic.mqcp.client.common.MQCPException;
import com.paic.mqcp.client.common.MQCPMessageListener;
import com.paic.mqcp.client.consumer.MQCPConsumer;
import com.paic.mqcp.client.dto.MQCPMessage;
import com.paic.mqcp.client.dto.MQCPMessageFilter;
import com.paic.mqcp.client.util.MQCPConstant;
import com.paic.mqcp.client.util.MQCPConsumeStatus;
import com.paic.mqcp.common.consumer.ConsumeFromWhere;

/**
 * 模拟业务系统需要在不停应用的场景下，开启、关闭接受消息服务
 * 
 * @author WUJING754
 *
 */
public class TestTimedConsumeImpl {
	
	/** 属性对象 */
	private static Properties p = null;
	
	/**
	 * 获取属性值对象
	 * 
	 * @return Properties
	 */
	public static Properties initialProperties() {
		
		p = new Properties();
		// 业务系统可以从配置文件中取出该属性，demo中写死的
		p.setProperty(MQCPConstant.NAME_SERVER_ADDRESS,
				"10.20.22.148:9876;10.20.22.149:9876");
		// 消费者ID，业务系统需要在MQCP-ADMIN中注册，否则无法正常发送消息
		// demo中已经初始化好了的，后续请联系MQCP开发注册系统 
		p.setProperty(MQCPConstant.CONSUMER_ID, "CID_PARP_TEST_DEFAULT");
		// INSTANCE_NAME属性建议业务系统不设置，用默认的即可
		//p.setProperty(MQCPConstant.INSTANCE_NAME,"_PACP");
		
		return p;
	}
	
	public static MQCPConsumer initialConsumer(){
		
		MQCPConsumer pushConsumer = null;
		
		try {
			// 初始化过滤对象
			MQCPMessageFilter mqcpFilter = new MQCPMessageFilter();
			List<String> list = new ArrayList<String>();
			// 设置tag 
			// tag的作用是过滤消息，如果设置改值，MQCP只会取出发送消息时设置了该tag值的消息
			// 需要注意的是同一CID下的多个应用实例需要设置为同样的tag列表来过滤消息，以保证消息不会被过滤取走但未被业务系统处理
			list.add("testByWUJING754");
			mqcpFilter.setTags(list);
			// 初始化MQCPPushConsumer并指定为集群消费(消息只会被消费一次，无论应用的实例有多少个)
			// PUSH消费模式下，客户端包会启动后台线程不断的从MQCP中拉去消息(准实时方式，毫秒级延时)
			// 业务系统收取到消息后，需要实现MQCPMessageListener，来处理消息
			pushConsumer = MQCPFactory
					.createConsumer(initialProperties());
			// 设置第一次CID消费消息的时间点，这里设置从最后的消息开始获取
			// 如果不设置该值，默认是队列的最开始出消费消息
			pushConsumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET);
			// 订阅 T_PAFA5_LOG_P 主题的消息(创建topic需要在MQCP-ADMIN中，如需创建请联系MQCP开发)
			pushConsumer.subscribe("T_PARP_TEST_DEMO", mqcpFilter,
					new MQCPMessageListener() {
						@Override
						public MQCPConsumeStatus pushMessage(
								List<MQCPMessage> messageList) {
							// 监听到有消息抵达后，业务系统需要遍历messageList对象，来获取消息
							// messageList的默认大小为1，即消息是一条一条的推送到客户端的
							for (MQCPMessage msg : messageList) {
								// 消息明细  MQCPMessage对象
								// 建议业务系统将从消息平台拉取消息和处理消息的逻辑解耦，
								// 在consumer监听器中只监听到消息，建议简单的将获取的消息解析存储，然后返回 MQCPConsumeStatus.CONSUME_OK,
								// 后端可以异步来处理接收到的消息 
								try {
									System.out.println("###########receive message\n[msgTopic:"
													+ msg.getTopic()
													+ "\nmsgId:"
													+ msg.getMsgId()
													+ "\nmsgContent:"
													+ new String(msg.getConent(),"UTF-8")
													+ "\nmsgKey:"
													+ msg.getKey() + "]");
								} catch (UnsupportedEncodingException e) {
									e.printStackTrace();
								}
							}

							return MQCPConsumeStatus.CONSUME_OK;
						}
					});

		} catch (Exception ex) {
			ex.printStackTrace();
		}
		return pushConsumer;

	}
	
	/**
	 * 入口
	 * @param args
	 */
	public static void main(String[] args) {
		
		// 初始化一个pushConsumer对象
		MQCPConsumer pushConsumer = initialConsumer();
		
		// 启动该consumer对象，开始消费消息
		startConsumingMsg(pushConsumer);
		
		// 业务系统不断收取消息，处理消息过程中...
		
		// 根据业务需要，可以调用stopConsumingMsg()方法来停止收取消息
		stopConsumingMsg(pushConsumer);
		
		// 主线程休眠30秒
		try {
			Thread.sleep(30000L);
		} catch (InterruptedException e) {
			
			e.printStackTrace();
		}
		// 模拟业务系统再次初始化一个consumer对象
		pushConsumer = initialConsumer();
		// 启动consumer，开始收取消息
		startConsumingMsg(pushConsumer);
		
		// 业务系统不断收取消息，处理消息过程中...
		
		// 业务系统根据需要，停止取消息服务		
		stopConsumingMsg(pushConsumer);
		
	}
	/*
	 * 启动传入的消费者对象
	 */
	public static boolean startConsumingMsg(final MQCPConsumer pushConsumer){
		
		boolean flag = true;
		try {
			pushConsumer.start();
			System.out.println("-->start consumer success.");
		} catch (MQCPException e) {
			
			System.out.println("-->start consumer fail due to " + e.getMessage());
			e.printStackTrace();
			flag = false;
		}
		return flag;
	}
	
	/*
	 * 关闭传入的消费者对象
	 */
	public static void stopConsumingMsg(final MQCPConsumer pushConsumer){
		
		pushConsumer.shutdown();
		System.out.println("-->shutdown consumer success.");
	}

}

9、客户端生产者是否有消息重发机制？

(摘至RocketMq官方文档)
RocketMq消息发送失败如何处理,Producer的send方法本身支持内部重试，重试逻辑如下：
1. 至多重试5次。
2. 如果发送失败，则轮转到下一个Broker。
3. 这个方法的总耗时时间不超过sendMsgTimeout设置的值，默认5s。
所以，如果本身向broker发送消息产生超时异常，就不会再做重试。

以上策略仍然不能保证消息一定发送成功，为保证消息一定成功，建议应用这样做:如果调用send同步方法发送失败，则尝试将消息存储到db，由后台线程定时重试，保证消息一定到达Broker。

上述DB重试方式为什么没有集成到MQ客户端内部做，而是要求应用自己去完成，我们基于以下几点考虑
1. MQ的客户端设计为无状态模式，方便任意的水平扩展，且对机器资源的消耗仅仅是cpu、内存、网络。
2. 如果MQ客户端内部集成一个KV存储模块，那么数据只有同步落盘才能较可靠，而同步落盘本身性能开销较大，所以通常会采用异步落盘，又由于应用关闭过程不受MQ运维人员控制，可能经常会发生kill -9这样暴力方式关闭，造成数据没有及时落盘而丢失。
3. Producer所在机器的可靠性较低，一般为虚拟机，不适合存储重要数据。
综上，建议重试过程交由应用来控制。

10、客户端消费者是否有消息重发机制？

(摘至RocketMq官方文档)
消息重试机制如下：

注意：重试的消息，MsgKey不变，MsgId会变。

11、业务消费端没有取到消息，如何去定位问题？

正常情况下生产者发送消息到MQCP，消息被投递到消费端的延时应该在毫秒级。如果消费端迟迟没有收到消息，建议采用下面的步骤来排查问题：

1、获得消息的消息ID或者KEY，去MQCP-ADMIN的消息查询模块，根据自己的消费者ID找到其对应的消费状态。

2、常见的投递状态有：

SUBSCRIBED_AND_CONSUMED	订阅了，而且消费了（Offset越过了）
SUBSCRIBED_BUT_FILTERD	订阅了，但是被过滤掉了
the consumer group[***] not online	订阅了，但是消费者未启动
SUBSCRIBED_AND_NOT_CONSUME_YET	订阅了，但是没有消费（Offset小）
UNKNOW_EXCEPTION	未知异常

注： SUBSCRIBED_AND_CONSUMED状态，表示消息已被正常消费掉，如果此时有异常，需要业务系统检查日志，分析看看是否因为解析消息时有异常，导致消息未被正确处理。
SUBSCRIBED_BUT_FILTERD状态，需要业务系统检查初始化Consumer对象时传入的TagList是否和生产者定义的tag匹配。
SUBSCRIBED_AND_NOT_CONSUME_YET状态，可能的原因是由于消息有积压，消息还未被取走，可以稍等几十秒再去查询一下状态。
the consumer group[***] not online状态，表示对应CID的消费者还未正确启动。业务系统需要检查消费者是否已启动，如果已启动请检查是否启动时有报错。有可能相关的配置项配置错误，导致consumer启动时校验失败。
UNKNOW_EXCEPTION表示消息平台有异常，请联系MQCP开发同事。

13、如何避免接收到的消息是乱码？

对于生产者来说，建议将消息body转为byte数组时显示指定为UTF-8编码。对于消费者来说，建议在接收到消息后将byte数组转为String时指定UTF-8编码。这样可以避免因为消息body中有中文或者特殊字符，消费端解析时乱码，进而造成消息解析失败。

Example of producer

MQCPMessage msg = new MQCPMessage();

msg.setConent("test msg body".getBytes("UTF-8")); // 生产者组装消息body时指定urf-8编码

Example of consumer

14、MQCP中的消息标签(tag)如何使用？

在消息中间件实际的使用场景中，消费者只需要消息队列中的部分消息，其余消息希望默认不被接收，直接丢弃掉。针对类似这种场景，MQCP提供通过合理使用消息标签(Tag)的方式来实现消费端灵活过滤队列中消息的功能。
实现方式如下：
1、生产者和消费者双方约定消息标签具体的设置值及其代表的含义。
2、生产者在发送消息时，组装消息对象的时候，需要给对应消息设置正确的消息标签。

MQCPMessage msg = new MQCPMessage();

//设置过滤标签---大小写敏感

msg.setTag("SystemTag");

3、消费者在组装消费者对象时，需要正确设置消息过滤的过滤器

MQCPMessageFilter mqcpFilter = new MQCPMessageFilter();

List<String> list = new ArrayList<String>();

// 设置tag

// tag的作用是过滤消息，如果设置改值，MQCP只会取出发送消息时设置了该tag值的消息

// 需要注意的是同一CID下的多个应用实例需要设置为同样的tag列表来过滤消息，以保证消息不会被过滤取走但未被业务系统处理list.add("SystemTag");

mqcpFilter.setTags(list);

上述生产端、消费端的实现代码具体可查阅MQCP官网提供的Demo。

16、The consumer’s subscription not exist报错？

现象：业务系统开发环境报异常：The consumer’s subscription not exist，检查消费者状态，多台实例在线，检查消息消费情况，消息一直不被消费，状态为：SUBSCRIBED_AND_NOT_CONSUME_YET（订阅未消费）。

原因：业务系统之前已经接入过MQCP，且开发环境有多个开发人员在同时进行开发，多个主机同时连接MQCP，本次该consumer新增了1个订阅关系（subscription-A），但业务系统只有1个同事（小Y）的代码才新增了订阅关系，其他几个开发人员的代码没有配置，一旦他们的consumer启动后，给broker保持通信时发送的订阅关系中，并没有subscription-A，broker会remove该订阅关系，因此小Y的consumer启动后，与broker通信时发现没有subscription-A，就会报：The consumer’s subscription not exist。

解决方案：1、不同的cid，订阅不同的topic，避免同一个cid订阅多个topic

2、业务系统开发环境，只开发相关功能的主机才启动consumer

17、业务系统消费端两种常见的错误实现？

18、申请生产环境mq消息查询权限

请使用IE浏览器，在itsm系统申请对应的权限，通道如下：

IT权限管理-申请->平安科技_消息协作平台监控应用(MQCP_ADMIN)=>帐户管理组

19、测试环境admin平台查询消息已消费，但消费端未查询到消息

同一个消费者是集群消费模式，在测试环境中，只想在某一个环境测试MQ功能，需要每个环境配置不同的CID。比如某系统测试环境有多套环境：STG1和STG2环境，测试人员正在STG1测试，如果两个环境的CID相同，则消息有可能就被STG2取走，测试人员在STG1上查不到该消息。

解决方法：

1、若为刚新增的发布订阅关系，请联系MQCP同事申请给每一个环境配置独立的CID，并创建发布订阅关系

2、若每个环境都申请了独立的CID，请检查是否其他某个环境使用了该环境的CID

20、java.lang.reflect.InvocationTargetException告警

业务系统引用客户端包在1.0.15之前版本在启动时可能会出现该异常，不影响消息的收发，1.0.15的客户端版本修复了该问题

解决方法：

更新客户端包为最新的版本，最新包版本可在包库查询。客户端包不断在迭代优化，建议业务系统及时更新客户端包。客户端包每个版本更新内容可在官网“相关文档---CLIENT包版本线”查询。

需注意：客户端包在1.0.20优化了发布订阅关系的校验方式，配置文件的配置项有变化，从原来的name_server_address、cluster_id

、virtual_account变为了：server_address、virtual_account，具体请查阅demo

21、服务启动时报错：MQCP_CLIENT->Initial cache failed,no cache message received after waiting for 90s

客户端在重启的时报错初始化发布订阅关系缓存数据失败。

解决方法：

1、检查是否新增了配置文件：mqcp_client.properties，需新增

2、检查mqcp_client.properties配置文件，客户端版本为1.0.20之前的版本，需检查name_server_address、cluster_id的值是否正确，前后是否包含空格，检查virtual_account配置的虚拟用户是否与admin平台配置的一致，客户端版本为1.0.15之前的，还需在代码里新增name_server_address的配置：p.setProperty(MQCPConstant.NAME_SERVER_ADDRESS,"不同环境配置不同的nameserver地址" ); 客户端版本为1.0.20及之后的，需要检查server_address、virtual_account是否正确，是否包含空格。

3、建议更新客户端包为最新的包。

weixin_33969116

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
mq使用经验

1、Producer使用指南--发送消息注意事项 1、正常情况下一个业务系统尽可能用一个Topic，消息子类型用tags来标识，tags可以由业务系统自由设置。只有发送消息设置了tags，消费方在订阅消息时，才可以利用tags在broker做消息过滤。 MQCPMessage msg = new MQCPMessage(); // 初始化消息对象 message.setT...
复制链接

扫一扫