kafka
liao0801_123
这个作者很懒,什么都没留下…
展开
-
Kafka客户端是如何找到 leader 分区的
在正常情况下,Kafka中的每个Topic都会有很多个分区,每个分区又会存在多个副本。在这些副本中,存在一个leader分区,而剩下的分区叫做 follower,所有对分区的读写操作都是对leader分区进行的。所以当我们向Kafka写消息或者从Kafka读取消息的时候,必须先找到对应分区的Leader及其所在的Broker地址,这样才可以进行后续的操作。本文将要介绍的就是 Kafka 是如何找到 leader 分区的。我们知道, Kafka 是使用 Scala 语言编写的,但是其支持很多语言的客户端,转载 2020-07-07 00:10:06 · 1774 阅读 · 0 评论 -
springboot下 kafka 手动创建topic并指定分区(partition)数及分区副本(replica)数
依赖: <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> &l.转载 2020-05-29 16:55:59 · 16609 阅读 · 1 评论 -
Kafka分区(partition)如何分配给消费者
1. 前言我们知道,生产者发送消息到主题,消费者订阅主题(以消费者组的名义订阅),而主题下是分区,消息是存储在分区中的,所以事实上生产者发送消息到分区,消费者则从分区读取消息,那么,这里问题来了,生产者将消息投递到哪个分区?消费者组中的消费者实例之间是怎么分配分区的呢?接下来,就围绕着这两个问题一探究竟。2. 主题的分区数设置在server.properties配置文件中可以指定一个全局的分区数设置,这是对每个主题下的分区数的默认设置,默认是1。当然每个主题也可以自己设...转载 2020-05-28 09:53:17 · 5459 阅读 · 0 评论 -
kafka单机部署
1.前言kafka是一个分布式且基于发布/订阅的消息系统。架构图如下:概念:producer:生产者,负责发布消息到kafkabroker:代表一台或多台服务器topic:每条发送到kafka集群的消息都会有一个类别,物理上不同的topic存储到不同的broker,逻辑上一个topic可能分别存储在一个或多个broker上,但是生产者或消费者只需要指定topic而无需关心存储zookeeper:集群管理流程:Producer使用push模式将消息发布到.转载 2020-05-26 16:15:56 · 1233 阅读 · 0 评论 -
kafka脚本无法关闭No kafka server to stop
写了两个kafka启动/关闭脚本, 发现启动成功, 关闭显示No kafka server to stop/opt/kafka_2.13-2.5.0/bin/kafka-server-start.sh /opt/kafka_2.13-2.5.0/config/server.properties &/opt/kafka_2.13-2.5.0/bin/kafka-server-stop.sh /opt/kafka_2.13-2.5.0/config/server.properties &a原创 2020-05-26 16:11:47 · 581 阅读 · 0 评论 -
kafka个人笔记精简版(kafka高吞吐量的奥秘)
kafka高吞吐量的奥秘(详解在下面)kafka主要使用了以下几个方式实现了超高的吞吐率顺序读写kafka的消息是不断追加到文件中的,这个特性使kafka可以充分利用磁盘的顺序读写性能顺序读写不需要硬盘磁头的寻道时间,只需很少的扇区旋转时间,所以速度远快于随机读写Kafka官方给出了测试数据(Raid-5,7200rpm):顺序 I/O: 600MB/s随机 I/...原创 2018-05-17 18:37:59 · 344 阅读 · 0 评论