Kafka
文章平均质量分 55
微步229
这个作者很懒,什么都没留下…
展开
-
kafka-preferred-replica-election命令详解
一、kafka-preferred-replica-election使用背景在创建一个topic时,kafka尽量将partition均分在所有的brokers上,并且将replicas也均分在不同的broker上。每个partitiion的所有replicas叫做"assigned replicas","assigned replicas"中的第一个replicas叫"preferred...原创 2018-10-25 10:11:15 · 7003 阅读 · 0 评论 -
Kafka 数据迁移(增加节点和减少节点均适用)
当Kafka 减少Broker节点后,需要把数据分区迁移到其他节点上,以下将介绍我的一次迁移验证过程。前3步为环境准备,实际数据操作看第4步即可增加Broker节点,也可以采用步骤4相同的方法进行重新分区方案思想:使用kafka-reassign-partitions命令,把partition重新分配到指定的Broker上1、创建测试topic,具有3个分区,2个副本k...原创 2018-10-23 16:49:50 · 8850 阅读 · 0 评论 -
Kafka topic增加partitions
把topic分区数从1增加到3。 执行增加命令:kafka-topics --alter --topic zhuzh009 --zookeeper cdh-002/kafka --partitions 3注意该命令分区数partitions只能增加,不能减少 通过kafka-topics --describe --zookeeper cdh-002/kafka查看可知,新增...原创 2018-10-23 17:07:45 · 6810 阅读 · 0 评论 -
记一次Kafka不能消费故障
背景:kafka集群机器升级,使得部分spark Streaming不能消费读取数据问题原因:kafka会自动创建一个默认的topic __consumer_offsets,用于保存offset到Kafka系统由于我们集群kafka节点有7个,当逐渐的下架上架机器后,使得__consumer_offsets Partition 出现Leader为-1Kafka将直连Kaf...原创 2018-10-30 11:17:20 · 9618 阅读 · 1 评论 -
Kafka参数unclean.leader.election.enable详解
如何提高Kafka可靠性是一个可以长篇大论的主题。很多初学者会简单的认为将客户端参数acks设置为-1即可保证Kafka的可靠性,显然这是很片面的观点。就可靠性本身而言,它并不是一个可以用“是”或者“否”来衡量的一个指标,而一般是用几个9来衡量。就参数方面而言,与Kafka可靠性相关的参数不止acks这一个,比如retries、replication.factor、min.insync.repli...转载 2018-11-05 16:19:41 · 1685 阅读 · 0 评论 -
kafka broker Leader -1引起spark Streaming不能消费的故障解决方法
一、问题描述:Kafka生产集群中有一台机器cdh-003由于物理故障原因挂掉了,并且系统起不来了,使得线上的spark Streaming实时任务不能正常消费,重启实时任务都不行。查看kafka topic状态,发现broker Leader出现-1的情况,如下图二、问题分析Kafka Broker Leader 为-1,表示有partition在选举Leader的时候失败...原创 2019-05-22 14:13:27 · 2420 阅读 · 2 评论