Kafka集群partitions/replicas默认分配解析

原创 2014年12月06日 20:19:54

1. Kafka集群partition replication默认自动分配分析

下面以一个Kafka集群中4个Broker举例,创建1个topic包含4个Partition,2 Replication;数据Producer流动如图所示:

(1)


(2)当集群中新增2节点,Partition增加到6个时分布情况如下:


副本分配逻辑规则如下:

  • 在Kafka集群中,每个Broker都有均等分配Partition的Leader机会。
  • 上述图Broker Partition中,箭头指向为副本,以Partition-0为例:broker1中parition-0为Leader,Broker2中Partition-0为副本。
  • 上述图种每个Broker(按照BrokerId有序)依次分配主Partition,下一个Broker为副本,如此循环迭代分配,多副本都遵循此规则。

副本分配算法如下:
  • 将所有N Broker和待分配的i个Partition排序.
  • 将第i个Partition分配到第(i mod n)个Broker上.
  • 将第i个Partition的第j个副本分配到第((i + j) mod n)个Broker上.

Kafka深度解析

背景介绍 Kafka简介   Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能高...
  • qqqq724
  • qqqq724
  • 2015年01月28日 13:04
  • 66273

如何在Kafka上对一个Topic增加replicas

操作步骤如下:操作,是指手动写扩充replicas的配置文件,然后使用工具进行操作1.查看topic的详细信息lizhitao@users-MacBook-Pro-2:~$ ./bin/kafka-t...
  • lizhitao
  • lizhitao
  • 2015年05月21日 16:53
  • 3830

如何为Kafka集群选择合适的Partitions数量

如何为Kafka集群选择合适的Partitions数量Hadoop技术博文  这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素,并提供一些简单的计算公式。文...
  • oDaiLiDong
  • oDaiLiDong
  • 2016年09月18日 10:11
  • 4028

kafka

转载自:http://www.cnblogs.com/tangr206/articles/2274845.html 基本概念 kafka的工作方式和其他MQ基本相同,只是在一些名词命名上有...
  • myrainblues
  • myrainblues
  • 2013年12月03日 12:25
  • 17482

kafka partition分配原理探究

kafka partiton 原理
  • yu280265067
  • yu280265067
  • 2017年04月06日 15:26
  • 3105

kafka Partition分发策略

为了更好的实现负载均衡和消息的顺序性,Kafka Producer可以通过分发策略发送给指定的Partition。Kafka保证在partition中的消息是有序的。Kafka Java客户端有默认的...
  • dly1580854879
  • dly1580854879
  • 2017年04月30日 16:16
  • 807

Kafka(一):基础

1. 引言 互联网够公司的日志无处不在,web日志,js日志,搜索日志,监控日志等等。对于这些日志的离线分析(Hadoop),wget&rsync虽然人力维护成本较高,但可以满足功能行需求。但对于这些...
  • yfkiss
  • yfkiss
  • 2013年12月18日 19:15
  • 34181

如何为一个kafka集群选择topics/partitions的数量?

How to choose the number oftopics/partitions in a Kafka cluster? 如何为一个kafka集群选择topics/partitions的数量?...
  • kwengelie
  • kwengelie
  • 2016年04月14日 11:20
  • 8710

kafka重新分配partition

原文:http://wzktravel.github.io/2015/12/31/kafka-reassign/ 今天kafka测试环境中机器磁盘告警,占用率超过了80%,原来是某一个top...
  • u013063153
  • u013063153
  • 2017年06月28日 09:44
  • 2548

Kafka副本同步机制理解

构建操作简单的分布式系统,尤其是对微妙的行为,最好的一门艺术是经常收集生产环境经验。Apache Kafka的普及在很大程度上归功于它的设计和操作简单。Apache Kafka更微妙的特性之一是它的复...
  • lizhitao
  • lizhitao
  • 2016年06月20日 01:50
  • 10935
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Kafka集群partitions/replicas默认分配解析
举报原因:
原因补充:

(最多只允许输入30个字)