Kafka Study : Understand the Partitions and replicates

原创 2016年08月31日 09:56:35
test configurations:
  1. start zookeeper at port 2181
  2. start kafka instance 0 at port 9092 (using default server.properties).
    • kafka_folder] bin/kafka-server-start.sh
  3. start kafka instance 1
    • create new server1.properteis, change the id=1, port=9093 and log directory;
    • bin/kafka-server-start.sh config/server1.properties
  4. start kafka instance 2
    • create new server2.properteis, change the id=2, port=9094 and log directory;
    • bin/kafka-server-start.sh config/server2.properties
  5. create topic: kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic my-replicated-test-topic
  6. check the topic partion and replicates: 
          kafka-topics.sh --describe --topic my-replicated-test-topic --zookeeper localhost:2181
    • Topic:my-replicated-test-topic  PartitionCount:3        ReplicationFactor:2     Configs:
    •        Topic: my-replicated-test-topic Partition: 0    Leader: 0       Replicas: 0,1   Isr: 0,1
    •         Topic: my-replicated-test-topic Partition: 1    Leader: 1       Replicas: 1,2   Isr: 1,2
    •        Topic: my-replicated-test-topic Partition: 2    Leader: 2       Replicas: 2,0   Isr: 2,0

  1. publish message through different kafka instance:
    • kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-test-topic
      • 1st message
      • 2nd message
      • 3rd message
    • kafka-console-producer.sh --broker-list localhost:9093 --topic my-replicated-test-topic
      • 4th message
      • 5th message
      • 6th message
    • kafka-console-producer.sh --broker-list localhost:9094 --topic my-replicated-test-topic
      • 7th message
      • 8th message
      • 9th message
  2. check the storage:                   
    kafka instance 0 kafka instance 1 kafka instance 2
    my-replicated-test-topic-replicate-0:
    2nd message, 6th message, 8th message
    my-replicated-test-topic-replicate-0:
    2nd message, 6th message, 8th message
     
      my-replicated-test-topic-replicate-1:
    1st message, 5th message, 7th message
    my-replicated-test-topic-replicate-1:
    1st message, 5th message, 7th message
    my-replicated-test-topic-replicate-2:
    3rd message, 4th message, 9th message
      my-replicated-test-topic-replicate-2:
    3rd message, 4th message, 9th message
     
  3. consumer from beginning from any broker:
  4. kafka-console-consumer.sh --zookeeper localhost:2181 --topic my-replicated-test-topic --from-beginning
  5. 1st message
  6. 2nd message
  7. 5th message
  8. 7th message
  9. 6th message
  10. 8th message
  11. 3rd message
  12. 4th message
  13. 9th message
  14. we can see that: the order from one partition was assured, but from different partitions is not assured

Kafka#2:消息队列

问题 消息协议 消息订阅 消息存储 消息投递 消息顺序 消息清理 消息优先级 消息过滤 消息堆积 事务消息...
  • kisimple
  • kisimple
  • 2015年01月04日 18:40
  • 6015

kafka增加topic 的partitions数量

./bin/kafka-topics.sh --zookeeper  localhost:2181 --alter --partitions 2 --topic  LOG-WIMI-LAV 为top...
  • luosai19910103
  • luosai19910103
  • 2017年02月08日 17:48
  • 409

kafka重新分配partition

原文:http://wzktravel.github.io/2015/12/31/kafka-reassign/ 今天kafka测试环境中机器磁盘告警,占用率超过了80%,原来是某一个top...
  • u013063153
  • u013063153
  • 2017年06月28日 09:44
  • 3003

kafka的安装和配置

一、Kafka的安装和配置1.kafka的下载地址 http://kafka.apache.org/downloads.html 2.下载后,可以通过winscp,复制到centos环境下,然后解...
  • u014039577
  • u014039577
  • 2015年08月17日 20:06
  • 1566

Kafka学习之Replication tools之Add Partition Tool

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-5.AddParti...
  • damacheng
  • damacheng
  • 2015年01月04日 16:20
  • 1234

如何为一个kafka集群选择topics/partitions的数量?

How to choose the number oftopics/partitions in a Kafka cluster? 如何为一个kafka集群选择topics/partitions的数量?...
  • kwengelie
  • kwengelie
  • 2016年04月14日 11:20
  • 9081

KafkaConsumer分析

一 重要的字段 String clientId:Consumer唯一标识 ConsumerCoordinator coordinator: 控制Consumer与服务器端GroupCoordina...
  • zhanglh046
  • zhanglh046
  • 2017年06月01日 17:29
  • 1475

Apache Kafka 分布式消息队列中间件安装与配置

wget http://apache.fayea.com/apache-mirror/kafka/0.8.1.1/kafka_2.8.0-0.8.1.1.tgz gtar xvzf kafka_2.8...
  • wangjia184
  • wangjia184
  • 2014年07月18日 15:40
  • 19696

消费者rebalance机制分析

一 触发rebalance的时机 # 有新的消费者加入 # 有消费者宕机或者下线 # 消费者主动退出消费者组 # 消费者组订阅的topic出现分区数量变化 # 消费者调用unsubscrib...
  • zhanglh046
  • zhanglh046
  • 2017年06月02日 16:16
  • 2413

Kafka Replication

Kafka Replication High-level Design Replica placements Initial placementIncrementally add brok...
  • shenyan008
  • shenyan008
  • 2013年03月29日 14:34
  • 1177
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Kafka Study : Understand the Partitions and replicates
举报原因:
原因补充:

(最多只允许输入30个字)