kafka消费失败多次重试

Thread consumerThread = new Thread(new Runnable() {

			public void run() {
				MessageAndMetadata<byte[], byte[]> messageAndMetadata = null;
				try {
					while (consumer.hasNext() && !Thread.interrupted()) {
							messageAndMetadata = consumer.getData();
						    try {
								messageHandler.onMsg(new String(messageAndMetadata.message(), "UTF-8"));
							} catch (Exception ee) {
								long retries = messageHandler.getErrorMaxRetries();
								// range from 1 ~ DEFAULT_MAX_RETRIES do as it, other retry DEFAULT_MAX_RETRIES times
								if (retries != -1) {
									if (retries<=0 || retries>DEFAULT_MAX_RETRIES) {
										retries = DEFAULT_MAX_RETRIES;
									}
									for (int i=0; i<retries; i++) {
										LOG.info(String.format("[USING RETRY] %s times, for consuming topic:%s, sleeping %s seconds", (i+1), topic, RETRY_INTERVAL_ARR[i]));
										try {
											Thread.sleep(RETRY_INTERVAL_ARR[i]*1000);
											messageHandler.onMsg(new String(messageAndMetadata.message(), "UTF-8"));
										} catch (Exception e1) {
											LOG.error(e1.getMessage(), e1);
										}
									}
								} else {
									LOG.error(String.format("[NO RETRY] Processing msg:[%s] met error, please check it.", new String(messageAndMetadata.message(), "UTF-8")), ee);
								}
							}

							messageHandler.increment();

							// should commit offset or not
							if (messageHandler.shouldCommit()) {
								consumer.commitOffsets();
								messageHandler.setLastTimeCommit(System
										.currentTimeMillis());
								if (LOG.isInfoEnabled()) {
									LOG.info("Successfully commitOffsets, topic:"
											+ messageAndMetadata.topic()
											+" partition: "
											+messageAndMetadata.partition()
											+ " offset: "
											+ messageAndMetadata.offset());

								}
							}

						}
				} catch (Exception e) {
						try {
							if (messageAndMetadata != null) {
								LOG.error(Joiner.on("").join("topic:", messageAndMetadata.topic(),
										" partition:", messageAndMetadata.partition(),
										" msgContent:", new String(messageAndMetadata.message(), "UTF-8")), e);
							}
						} catch (UnsupportedEncodingException e1) {
							LOG.error(e1.getMessage(), e1);
						}
				} finally {
					LOG.info(String.format("DafkaConsumer thread for topic:%s will give up, try me later...", topic));
					if (consumer!=null) {
						consumer.shutdown();
					}
				}

			}
		});
		consumerThread.setName("DafkaConsumerThread-"
				+ properties.getProperty("topic"));
		consumerThread.start();

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Kafka消费机制可以通过建立一个专门用于的topic(retry topic)来实现。当消费者没有正确消费一条消息时,将该消息转发(发布)到主题(retry topic)上,并提交消息的偏移量,以便继续处理下一个消息。这个时候,这个没有正确消费的消息,对于这个消费者来说,也算是消费完成了,因为也正常提交了偏移量,只不过是业务没有正确处理,而且这个消息被发布到另一个topic中了(retry topic)。之后再创建一个消费者,用于订阅这个主题,只不过这个消费者,跟之前那个消费者处理相同的业务,两个逻辑是一样的。如果这个消费者也无法消费这条消息,那就把这个消息发布到另一个主题上,并提交该消息的偏移量。循环,递归。最后,当创建了很多消费者的时候,在最终消费者无法处理某条消息后,把该消息发布到一个死信队列(DLQ)。 ```shell # 代码示例 # 创建一个专门用于的topic bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic retry_topic # 消费者处理消息时,如果出现异常,将消息转发到主题上 # 代码示例 try: # 处理消息的业务逻辑 except Exception as e: # 将消息转发到主题上 producer.send('retry_topic', value=message.value, key=message.key) # 创建一个消费者,用于订阅主题 # 代码示例 consumer = KafkaConsumer('retry_topic', bootstrap_servers=['localhost:9092'], group_id='retry_group') for message in consumer: try: # 处理消息的业务逻辑 except Exception as e: # 将消息转发到另一个主题上 producer.send('retry_topic_2', value=message.value, key=message.key) # 提交消息的偏移量 consumer.commit() # 将无法处理的消息发布到死信队列 # 代码示例 producer.send('dead_letter_queue', value=message.value, key=message.key) ```

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值