kafka创建topic配置分区和副本

创建分区:

/path/to/kafka_home/bin/kafka-topics.sh --bootstrap-server 192.168.233.128:9092 --create --topic quickstart76-events --partitions 6 --replication-factor 2

说明:

--bootstrap-server:kafka集群的一个或多个broker地址,通过这个地址和整个kafka集群交互,也可以通过--zookeeper 参数来连接集群

--create:创建命令,同级别的还有--delete(删除)、--alter(修改)、--describe(查看详情)

--topic:制定topic的名称

--partitions:指定这个topic的分区数,分区可以将数据均衡开,不管是对生产端还是消费端。

--replication-factor:指定这个topic的每个分区的副本数,默认是1,表示只有leader,没有follower。这个参数不能设置大于集群中broker的数量,否则会报错。副本数越大写的代价就越高,但是数据丢失的可能性就越小。

查看刚刚创建好的topic

/path/to/kafka_home/bin/kafka-topics.sh --bootstrap-server 192.168.233.132:9092 --topic quickstart76-events --describe

得到结果

Topic: quickstart76-events	TopicId: RTYJMgt-SbSPERLyUkAI6Q	PartitionCount: 6	ReplicationFactor: 2	Configs: segment.bytes=1073741824
	Topic: quickstart76-events	Partition: 0	Leader: 3	Replicas: 3,2	Isr: 3,2
	Topic: quickstart76-events	Partition: 1	Leader: 1	Replicas: 1,3	Isr: 1,3
	Topic: quickstart76-events	Partition: 2	Leader: 0	Replicas: 0,1	Isr: 1,0
	Topic: quickstart76-events	Partition: 3	Leader: 2	Replicas: 2,0	Isr: 2,0
	Topic: quickstart76-events	Partition: 4	Leader: 3	Replicas: 3,1	Isr: 3,1
	Topic: quickstart76-events	Partition: 5	Leader: 1	Replicas: 1,0	Isr: 1,0

可以看到有6个分区,因为我的集群总共有4个broker,所以leader被尽可能分配到了全部的broker中,

然后是follower副本,每个分区的follower副本都不会被分配到leader所在的broker,而且会尽量分散

Replicas:follower副本的brokerId

Isr:可用的follower副本的brokerId,如果某个broker宕掉了,那Isr中会没掉,但Replicas还在

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
手把手视频详细讲解项目开发全过程,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程简介 细致简介了消息队列在大数据的应用场景、Kafka集群搭建、Kafka操作,基准测试、架构、编程、结合Kafka Eagle简介原理等 课程亮点 1,知识体系完备,从小白到大神各阶段读者均能学有所获。 2,生动形象,化繁为简,讲解通俗易懂。 3,结合工作实践及分析应用,培养解决实际问题的能力。 4,企业级方案设计,完全匹配工作场景。 适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求,希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章 简介 1.1 消息队列简介 1.2 Kafka简介 1.3 Kafka的优势 1.4 哪些公司在使用Kafka 1.5 Kafka生态圈介绍 1.6 Kafka版本 第二章 环境搭建 2.1 搭建Kafka集群 2.2 目录结构分析 2.3 Kafka一键启动/关闭脚本 第三章 基础操作 3.1 创建topic 3.2 生产消息到Kafka 3.3 从Kafka消费消息 3.4 使用Kafka Tools操作Kafka 第四章 Kafka基准测试 第五章 Java编程操作Kafka 5.1 同步生产消息到Kafka中 5.2 从Kafkatopic中消费消息 5.3 异步使用带有回调函数方法生产消息 第六章 架构 6.1 Kafka重要概念 6.2 消费者组 第七章. Kafka生产者幂等性与事务 38 7.1 幂等性 第八章 分区副本机制 8.1 生产者分区写入策略 8.2 消费者组Rebalance机制 8.3 消费者分区分配策略 8.4 副本机制 第九章 高级(High Level)API与低级(Low Level)API 9.1 高级API 9.2 低级API 9.3 手动消费分区数据 第十章 监控工具Kafka-eagle介绍 10.1 Kafka-Eagle简介 10.2 安装Kafka-Eagle 10.3 Kafka度量指标 第十一章 Kafka原理 11.1 分区的leader与follower 11.2 Kafka生产、消费数据工作流程 11.3 Kafka的数据存储形式 11.4 消息不丢失机制 11.5 数据积压 第十二章 Kafka中数据清理(Log Deletion) 12.1 日志删除 12.2 日志压缩(Log Compaction)
Kafka分区副本是为了提高数据的可靠性和可扩展性而引入的概念。每个Kafkatopic可以分为多个分区,这些分区会均匀地分布在集群的各个节点下。每个分区都是单点的,当其中一个分区不可用时,该分区的消息将无法被消费。为了提高分区的可靠性,Kafka引入了副本的概念。副本分区的冗余备份,通过副本机制来实现数据的冗余备份。 创建带有副本topic可以使用以下命令: ``` kafka-topics.sh --create --zookeeper 192.168.10.150:2181 --replication-factor 3 --partitions 3 --topic secondTopic ``` 上述命令创建了一个名为"secondTopic"的topic,该topic有3个分区和3个副本。每个分区都有3个副本,分布在集群的不同节点上。 Kafka提供了数据复制算法来保证副本的可靠性。如果leader副本所在的broker节点宕机或出现故障,或者分区的leader节点发生故障,Kafka会从follower副本中选择一个新的leader副本来保证数据的可用性和一致性。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* *3* [kafka 消息分发机制、分区副本机制](https://blog.csdn.net/weixin_43281498/article/details/124233357)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值