kafka channel
文章平均质量分 55
ESOO
君子不器
展开
-
flume高并发优化——(5)KafkaOffsetMonitor
本片博客是介绍一款kafka监控的软件,以配合查看flume的kafka channel性能,其实这是个非常简单的项目,我们只需要下载好jar包,就可以使用了1,下载jar包http://pan.baidu.com/s/1eSPlzpw2,启动java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \ com.quantifind.kafka.offseta原创 2016-04-25 18:05:14 · 3430 阅读 · 3 评论 -
Error UNKNOWN_MEMBER_ID occurred while committing offsets for group ***
Error UNKNOWN_MEMBER_ID occurred while committing offsets for group ***:增加配置agent1.channels.c2.kafka.consumer.session.timeout.ms=100000agent1.channels.c2.kafka.consumer.request.timeout.ms=110000agent1.channels.c2.kafka.consumer.fetch.max.wait.ms=1000原创 2017-06-06 09:19:02 · 4494 阅读 · 3 评论 -
How to choose the number oftopics/partitions in a Kafka cluster?
This is a common question asked by many Kafka users.The goal of this post is to explain a few important determining factors andprovide a few simple formulas.这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决转载 2017-07-31 09:56:03 · 638 阅读 · 2 评论 -
flume高并发优化——(16)解决offsets变小问题
offsets初始化在上篇博客中《flume高并发优化——(14)解决空行停止收集数据问题,及offsets变小问题 》我们遗留了一个小问题,就是offsets变小的问题,迟迟未解决,经过研究flume代码发现,flume中,是自己管理offsets关系的,每个kafkachannel的代码中保留了一份topic-offsets的关系,源码:@Override public void start原创 2017-07-31 10:24:51 · 2578 阅读 · 5 评论