kafka
「已注销」
这个作者很懒,什么都没留下…
展开
-
5.深入理解kafka:核心设计与实践原理
深入客户端分区分配策略Kafka提供了消费者客户端参数partition.assignment.strategy来设置消费者与订阅主题之间的分区分配策略。默认情况下,此参数的值为org.apache.kafka.clients.consumer.RangeAssignor,即采用RangeAssignor分配策略。除此之外,Kafka还提供了另外两种分配策略:RoundRobinAssignor 和 StickyAssignor。消费者客户端参数 partition.assignment.strat原创 2020-06-11 10:12:01 · 1249 阅读 · 0 评论 -
4.深入理解kafka:核心设计与实战原理
日志存储文件目录布局Kafka 中的消息是以主题为基本单位进行归类的,各个主题在逻辑上相互独立。每个主题又可以分为一个或多个分区,分区的数量可以在主题创建的时候指定,也可以在之后修改。每条消息在发送的时候会根据分区规则被追加到指定的分区中,分区中的每条消息都会被分配一个唯一的序列号,也就是通常所说的偏移量(offset),具有4个分区的主题的逻辑结构见图1-2。如果分区规则设置得合理,那么所有的消息可以均匀地分布到不同的分区中,这样就可以实现水平扩展。不考虑多副本的情况,一个分区对应一个日志(Log原创 2020-06-08 15:34:01 · 635 阅读 · 0 评论 -
3.深入理解kafka:核心设计与实践原理
主题与分区主题的管理主题的管理包括创建主题、查看主题信息、修改主题和删除主题等操作。主题的管理并非只有使用 kafka-topics.sh 脚本这一种方式,我们还可以通过KafkaAdminClient 的方式实现创建主题如果broker端配置参数auto.create.topics.enable设置为true(默认值就是true),那么当生产者向一个尚未创建的主题发送消息时,会自动创建一个分区数为num.partitions (默认值为1)、副本因子为default.replication原创 2020-06-05 14:10:10 · 690 阅读 · 0 评论 -
2深入理解kafka:核心设计与实践原理
消费者消费者与消费组1.每个消费者都有一个对应的消费组,消息被发布到主题后,只会投递到订阅它的每一个消费组中的一个消费者如上图所示:某个主题有4个分区,和两个消费组,A组有四个消费组,b组有2个消费者,,按照kafka的默认规则,最后分配结果是,A组每个消费者分配到一个分区,B组每个消费者分配到两个分区,每个消费者只能消费所分配到的分区中的消息。.换言之,每个分区只能被一个消费组的消费者消费2.消费组内的消费者个数变化时所对应的分区分配的演变:消费者与消费组这种模型可以让原创 2020-06-04 15:46:26 · 736 阅读 · 0 评论 -
1.深入理解kafka:核心设计和实践原理
1.快速入门使用kafka提供的脚本工具linux上安装java,zookeeper,kafka,启动zookeeper(zkServer.sh staart),再启动kafka(bin/kafka-server-start.sh config/server.properties) 创建topic (bin/kafka-topics.sh --create --zookeeeper lo...原创 2020-03-24 17:44:24 · 1083 阅读 · 0 评论