kafka创建topic配置分区和副本

创建分区:

/path/to/kafka_home/bin/kafka-topics.sh --bootstrap-server 192.168.233.128:9092 --create --topic quickstart76-events --partitions 6 --replication-factor 2

说明:

--bootstrap-server:kafka集群的一个或多个broker地址,通过这个地址和整个kafka集群交互,也可以通过--zookeeper 参数来连接集群

--create:创建命令,同级别的还有--delete(删除)、--alter(修改)、--describe(查看详情)

--topic:制定topic的名称

--partitions:指定这个topic的分区数,分区可以将数据均衡开,不管是对生产端还是消费端。

--replication-factor:指定这个topic的每个分区的副本数,默认是1,表示只有leader,没有follower。这个参数不能设置大于集群中broker的数量,否则会报错。副本数越大写的代价就越高,但是数据丢失的可能性就越小。

查看刚刚创建好的topic

/path/to/kafka_home/bin/kafka-topics.sh --bootstrap-server 192.168.233.132:9092 --topic quickstart76-events --describe

得到结果

Topic: quickstart76-events	TopicId: RTYJMgt-SbSPERLyUkAI6Q	PartitionCount: 6	ReplicationFactor: 2	Configs: segment.bytes=1073741824
	Topic: quickstart76-events	Partition: 0	Leader: 3	Replicas: 3,2	Isr: 3,2
	Topic: quickstart76-events	Partition: 1	Leader: 1	Replicas: 1,3	Isr: 1,3
	Topic: quickstart76-events	Partition: 2	Leader: 0	Replicas: 0,1	Isr: 1,0
	Topic: quickstart76-events	Partition: 3	Leader: 2	Replicas: 2,0	Isr: 2,0
	Topic: quickstart76-events	Partition: 4	Leader: 3	Replicas: 3,1	Isr: 3,1
	Topic: quickstart76-events	Partition: 5	Leader: 1	Replicas: 1,0	Isr: 1,0

可以看到有6个分区,因为我的集群总共有4个broker,所以leader被尽可能分配到了全部的broker中,

然后是follower副本,每个分区的follower副本都不会被分配到leader所在的broker,而且会尽量分散

Replicas:follower副本的brokerId

Isr:可用的follower副本的brokerId,如果某个broker宕掉了,那Isr中会没掉,但Replicas还在

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kafka分区副本是为了提高数据的可靠性和可扩展性而引入的概念。每个Kafkatopic可以分为多个分区,这些分区会均匀地分布在集群的各个节点下。每个分区都是单点的,当其中一个分区不可用时,该分区的消息将无法被消费。为了提高分区的可靠性,Kafka引入了副本的概念。副本分区的冗余备份,通过副本机制来实现数据的冗余备份。 创建带有副本topic可以使用以下命令: ``` kafka-topics.sh --create --zookeeper 192.168.10.150:2181 --replication-factor 3 --partitions 3 --topic secondTopic ``` 上述命令创建了一个名为"secondTopic"的topic,该topic有3个分区和3个副本。每个分区都有3个副本,分布在集群的不同节点上。 Kafka提供了数据复制算法来保证副本的可靠性。如果leader副本所在的broker节点宕机或出现故障,或者分区的leader节点发生故障,Kafka会从follower副本中选择一个新的leader副本来保证数据的可用性和一致性。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* *3* [kafka 消息分发机制、分区副本机制](https://blog.csdn.net/weixin_43281498/article/details/124233357)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值