jstorm kafkaspout未能实现fail机制重发功能

最新推荐文章于 2021-12-19 22:45:08 发布

amc1989

最新推荐文章于 2021-12-19 22:45:08 发布

阅读量897

点赞数 1

分类专栏：大数据文章标签： jstorm kafkaspout

本文链接：https://blog.csdn.net/amc1989/article/details/81698726

版权

大数据专栏收录该内容

0 篇文章 0 订阅

订阅专栏

本文探讨了ZookeeperKafka消费offset更新机制的问题，指出offset更新延迟的原因在于pendingOffsets的同步机制，并提出了使用ConcurrentSkipListSet替代treeset以解决offset更新延迟问题的解决方案。

摘要由CSDN通过智能技术生成

问题的发现是zookeeper kafka的消费offset很久没有更新，通过打日志发现

lastoffset其实是从发送的保存了所有发送的offset的pendingOffsets（源码里只是个treeset，阿里实现了ack，fail的异步，居然没用ConcurrentSkipListSet）中获取的，而该pendingOffsets删除数据，是ack后才调用的；如果某个offset的数据fail了，那么此时调用的是另外一个treeset集合，而且只是简单的remove，问题是都没塞数据，就直接remvoe了；如下面两张图：

解决方法：

把原先的treeset替换为ConcurrentSkipListSet，

fail方法：

 public void fail(KafkaMessageId fail) {
        failedOffsets.add(fail);
        pendingOffsets.remove(fail.getOffset());
    }

在PartitionConsumer的emmit方法第一行添加如下代码行：

 if (!failedOffsets.isEmpty()) {
            fillFailMessage();
        }

 private void fillFailMessage() {

        ByteBufferMessageSet msgs;
        try {
            if (failedOffsets.isEmpty()) {
                return;
            }
            KafkaMessageId kafkaMessageId = failedOffsets.pollFirst();
            msgs = consumer.fetchMessages(kafkaMessageId.getPartition(), kafkaMessageId.getOffset());
            List<Long> failedOffset = failedOffsets.stream().mapToLong(KafkaMessageId::getOffset).boxed().collect
                    (Collectors.toList());
            for (MessageAndOffset msg : msgs) {
                if (failedOffset.contains(msg.offset())) {
                    LOG.info("failToSend data is parition   :" + partition + "  , offset : " + msg.offset()
                            +"failedOffsets size : "+failedOffset.size());
                    pendingOffsets.add(kafkaMessageId.getOffset());
                    emittingMessages.add(msg);
                    failedOffsets.removeIf(k->{
                  return k.getOffset() == msg.offset();
                    });
                }
            }

        } catch (Exception e) {
            e.printStackTrace();
            LOG.error(e.getMessage(), e);
        }
    }

这里你可以自己决定是否过滤已经发送的。到此结束