Kafka--高吞吐量消息中间件

于 2024-09-11 09:58:40 发布
阅读量495 收藏 14
点赞数 10
分类专栏： 马哥SRE从入门到删根 文章标签： kafka 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/flytalei/article/details/140508774
版权

文章目录

Kafka特点和优势

官方网站：https://kafka.apache.org/

在这里插入图片描述

Kafka特点

Kafka特点
  1.分布式: 多机实现,不允许单机
  2.分区: 一个消息可以拆分出多个，分别存储在多个位置·
  3.多副本: 防止信息丢失，可以多来几个备份
  4.多订阅者: 可以有很多应用连接kafka
  5.Zookeeper: 早期版本的Kafka依赖于zookeeper，2021年4月19日Kafka 2.8.0正式发布，
    此版本包括了很多重要改动，最主要的是kafka通过自我管理的仲裁来替代ZooKeeper，即Kafka将不再需要ZooKeeper!

Kafka优势

1.Kafka通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB级别以上的消息存储也能够保持长时间的稳定性能·

o(1)就是最低的时空复杂度，也就是耗时/耗空间与输入数据大小无关，无论输入数据增大多少倍，耗时/耗空间都不变，
哈希算法就是典型的o(1)时间复杂度，无论数据规模多大，都可以在一次计算后找到目标。

2.高吞吐量: 即使是非常普通的硬件，Kafka也可以支持每秒数百万的消息。支持通过Kafka服务器分区消息。

3.分布式: Kafka基于分布式集群实现高可用的容错机制，可以实现自动的故障转移。

4.顺序保证:︰在大多数使用场景下，数据处理的顺序都很重要。大部分消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理。Kafka保证一个Partiton内的消息的有序性(分区间数据是无序的，如果对数据的顺序有要求，应将在创建主题时将分区数partitions设置为1)

5.支持Hadoop并行数据加载。

6.通常用于大数据场合,传递单条消息比较大，而Rabbitmq消息主要是传输业务的指令数据,单条数据较小。

Kafka角色

在这里插入图片描述

Producer

 Producer：即生产者，消息的产生者，是消息的入口。负责发布消息到Kafka broker。

Consumer

 Consumer: 消费者，用于消费消息，即处理消息。

Broker:

Broker是kafka实例，
  每个服务器上可以有一个或多个kafka的实例，假设每个broker对应一台服务器。
  每个kafka集群内的broker都有一个不重复的编号，如: broker-O、broker-1等…...

Topic

Topic:消息的主题，可以理解为消息的分类，一个Topic相当于数据库中的一张表一条消息相当于关系数据库的一条记录，
  一个Topic或者相当于Redis中列表类型的一个Key，一条消息即为列表中的一个元素。kafka的数据就保存在topic。
  在每个broker上都可以创建多个topic。物理上不同topic的消息分开存储在不同的文件夹，
  逻辑上一个topic的消息虽然保存于一个或多个broker上,但用户只需指定消息的topic即可生产或消费数据而不必关心数据存于何处，
  topic在逻辑上对record(记录、日志)进行分组保存，消费者需要订阅相应的topic才能消费topic中的消息。

Consumer group

Consumer group:
  每个consumer属于一个特定的consumer group(可为每个consumer指定group name，若不指定group name则属于默认的group)，
  同一topic的一条消息只能被同一个consumer group内的一个consumer消费，
  类似于一对一的单播机制，但多个consumer group可同时消费这一消息，类似于一对多的多播机制。

Partition

Partition:
  是物理上的概念，每个topic分割为一个或多个partition，即一个topic切分为多份.
  创建topic时可指定partition数量，partition的表现形式就是一个一个的文件夹.
  该文件夹下存储该partition的数据和索引文件，分区的作用还可以实现负载均衡，提高kafka的吞吐量。
  同一个topic在不同的分区的数据是不重复的,一般Partition数不要超过节点数，
  注意同一个partition数据是有顺序的，但不同的partition则是无序的。

Replication

Replication:同样数据的副本，包括leader和follower的副本数
  基于数据安全，建议至少2个是Kafka的高可靠性的保障，
  和ES的副本有所不同，Kafka中的副本数包括主分片数,而ES中的副本数不包括主分片数。
  为了实现数据的高可用，比如将分区0的数据分散到不同的kafka节点，
  每一个分区都有一个broker作为Leader和一个broker作为Follower，类似于ES中的主分片和副本分片，
  
  假设分区为3,即分三个分区0-2，副本为3，即每个分区都有一个leader，再加两个follower，
  分区0的leader为服务器A，则服务器B和服务器C为A的fllower，
  而分区1的leader为服务器B，则服务器A和C为服务器B的follower，
  而分区2的leader为C，则服务器A和B为C的follower。

分区和副本的优势

  1.实现存储空间的横向扩容，即将多个kafka服务器的空间组合利用
  2.提升性能，多服务器并行读写
  3.实现高可用，每个分区都有一个主分区即leader分布在不同的kafka服务器，并且有对应follower分布在和leader不同的服务器

在这里插入图片描述

Kafka写入流程

在这里插入图片描述

Kafka部署

官方部署文档：https://kafka.apache.org/quickstart

单机

$ apt update && apt -y install openjdk-8-jdk
$ tar -xzf kafka_2.13-3.4.0.tgz
$ cd kafka_2.13-3.4.0

# Start the zooKeeper servi ce
$ bin/zookeeper-server-start.sh config/zookeeper.properties

# Start the Kafka broker service
$ bin/kafka-server-start.sh config/server.properties

集群部署

当前版本Kafka依赖Zookeeper服务,但以后将不再依赖

1.环境准备ZooKeeper

安装kafka之前，确保的zookeeper集群节点的启动。

注意:生产中zookeeper和kafka一般是分开独立部署的, kafka安装前需要安装java环境。

2.配置文件说明

Kafka节点配置，配置文件说明
./ conf/server.propertiest

#配置文件 ./conf/server.properties内容说明

################################## Server Basics ##################################
#broker的id，值为整数，且必须唯一，在一个集群中不能重复
broker.id=1

################################## Socket ServerSettings ###################################
#kafka监听端口，默认9092
listeners=PLAINTEXT://10.0.0.101:9092

#处理网络请求的线程数量，默认为3个
num.network.threads=3

#执行磁盘IO操作的线程数量，默认为8个
num.io.threads=8

#socket服务发送数据的缓冲区大小，默认100KB
socket.send.buffer.bytes=102400

#socket服务接受数据的缓冲区大小，默认100KB
socket.receive.buffer.bytes=102400

#socket服务所能接受的一个请求的最大大小，默认为100M
socket.request.max.bytes=104857600

################################## Log Basics##################################
#kafka存储消息数据的目录
log.dirs= ../data

#每个topic默认的partition
num.partitions=1

#设置副本数量为3,当Leader的Replication故障，会进行故障自动转移。
default.replication.factor=3

#在启动时恢复数据和关闭时刷新数据时每个数据目录的线程数量
num.recovery.threads.per.data.dir=1

################################## Log FlushPolicy #################################
#消息刷新到磁盘中的消息条数阙值
log.flush.interval.messages=10000

#消息刷新到磁盘中的最大时间间隔,1s
log.flush.interval.ms=1000

################################## Log RetentionPolicy ##################################
#日志保留小时数，超时会自动删除，默认为7天
log.retention.hours=168

#日志保留大小，超出大小会自动删除，默认为1G
log.retention.bytes=1073741824

#日志分片策略，单个日志文件的大小最大为1G，超出后则创建一个新的日志文件
log.segment.bytes=1073741824

#每隔多长时间检测数据是否达到删除条件,300s
log.retention.check.interval.ms=300000

################################## zookeeper##################################
#zookeeper连接信息，如果是zookeeper集群，则以逗号隔开
zookeeper.connect=10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181

#连接zookeeper的超时时间，6s
zookeeper.connection.timeout.ms=6000

#是否允许删除topic，默认为false，topic只会标记为marked for deletion
delete.topic.enable=true

3.各节点部署Kafka

#在所有节点上执行安装java
[root@node1 ~]#apt install openjdk-8-jdk -y

#在所有节点上执行下载，官方下载
[root@node1 ~]#wget https://downloads.apache.org/kafka/3.3.1/kafka_2.13-3.3.1.tgz
[root@node1 ~]#wget https://archive.apache.org/dist/kafka/2.7.0/kafka_2.13-2.7.0.tgz

#解压缩
[root@node1 ~]#tar xf kafka_2.13-2.7.0.tgz -C /usr/local/
[root@node1 ~]#ln -s /usr/local/kafka_2.13-2.7.0/ /usr/local/kafka

#配置PATH变量
[root@node1 ~]#echo 'PATH=/usr/local/kafka/bin:SPATH' >/etc/profile.d/kafka.sh
[root@node1 ~]#. /etc/profile.d/kafka.sh

#修改配置文件
[root@node1 ~]#vim /usr/loca1/kafka/config/server.properties
broker.id=1   #每个broker在集群中每个节点的正整数唯一标识，此值保存在1og.dirs下的meta.properties文件
listeners=PLAINTEXT://10.0.0.101:9092#指定当前主机的IP做为监听地址,注意:不支持0.0.0.0
log.dirs=/usr/loca1/kafka/data #kakfa用于保存数据的目录，所有的消息都会存储在该目录当中
num.partitions=1 #设置创建新的topic时默认分区数量,建议和kafka的节点数量一致
default.replication.factor=3 #指定默认的副本数为3，可以实现故障的自动转移
log.retention.hours=168#设置kafka中消息保留时间，默认为168小时即7天
zookeeper.connect=10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181#指定连接的zk的地址,zk中存储了broker的元数据信息
zookeeper.connection.timeout.ms=6000 #设置连接zookeeper的超时时间，单位为ms ,默认6秒钟

#准备数据目录
[root@node1 ~]#mkdir /usr/local/kafka/data
[root@node1 ~]#scp /usr/local/kafka/config/server.properties 10.0.0.102:/usr/1ocal/kafka/config
[root@node1 ~]#scp /usr/local/kafka/config/server.properties 10.0.0.103:/usr/local/kafka/config

#修改第2个节点配置
[root@node2~]#vim /usr/local/kafka/config/server.properties
broker.id=2    每个broker在集群中的唯一标识，正整数。
listeners=PLAINTEXT://10.0.0.102:9092   指定当前主机的IP做为监听地址,注意:不支持0.0.0.0

#修改第2个节点配置
[root@node3~]#vim /usr/local/kafka/config/server.properties
broker.id=3    每个broker在集群中的唯一标识，正整数。
listeners=PLAINTEXT://10.0.0.103:9092   指定当前主机的IP做为监听地址,注意:不支持0.0.0.0

#可以调整内存
[root@node1 ~]#vim /usr/local/kafka/bin/kafka-server-start.sh
......
if[ "×$KAFKA_HEAP_OPTs"="x" ] ; then
   export KAFKA_HEAP_OPTS=" -Xmx1G -xms16"
fi
.....

4.启动服务

在所有kafka节点执行下面操作

[root@node1 ~-]#kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

5.确保服务启动

[root@node1 ~]#ss -ntl|grep 9092
LISTEN  0        50          [: :ffff:10.0.0.101] : 9092
[root@node1 ~]#tail /usr/local/kafka/logs/server.log
[2024-02-16 12:10:01,276] INFO [ExpirationReaper-1-AlterAc1s]: starting
(kafka.server.DelayedoperationPurgatory$ExpiredoperationReaper)
[2024-02-16 12:10:01,311] INFO [/config/changes-event-process-thread]: starting(kafka . common.zkNodechangeNotificationListener$changeEventProcessThread)
[2024-02-16 12:10:01,332] INFO [Socketserver brokerId=l] starting socket server acceptors and processors(kafka.ne twork. socketserver)
[2024-02-16 12:10:01,339] INFO [socketserver brokerTd=1] started data-plane acceptor and processor(s) forendpoint : ListenerName(PLAINTEXT)(kafka.ne twork. Socketserver)
[2024-02-16 12:10:01,340] INFO [socketserver brokerTd=1] started socket server acceptors and processors(kafka. network. Socketserver)
[2024-02-16 12:10:01,344] INFO Kafka version: 2.7.0 (org.apache.kafka.common .uti1s.AppInfoParser)
[2024-02-16 12:10:01,344] INFO Kafka commitId: 448719dc99a19793 (org.apache.kafka.common.uti1s.AppInfoParser)
[2024-02-16 12:10:01,344]INFO Kafka startTimews: 1613448601340 (org.apache .kafka .common.uti1s.AppInfoParser)
[2024-02-16 12:10:01,346] INFo [Kafkaserver id=1] started (kafka. server.KafkaServer)
[2024-02-16 12:10:01,391] IMFO [broker-1-to-controller-send-thread] : Recorded new controller，from now on wi11use broker 1 (kafka.server . BrokerTocontro1lerRequestThread)

#如果使用id,还需要修改/usr/loca1/ kafka/data/meta.properties
#打开zooinspector可以看到三个id

在这里插入图片描述

Broker依赖于Zookeeper，
  每个Broker的id和Topic、Partition这些元数据信息都会写入Zookeeper的ZNode节点中

consumer依赖于Zookeeper,
  Consumer在消费消息时，每消费完一条消息，会将产生的offset保存到Zzookeeper中，
  下次消费在当前offset往后继续消费.kafka0.9之前Consumer的offset存储在Zookeeper中，
  kafka0.9以后offset存储在本地。
  
Partition依赖于Zookeeper，
  Partition完成Replication备份后，选举出一个Leader，这个是依托于Zookeeper的选举机制实现的。

准备Kafka的service文件
/lib/systemd/ system/ kafka.service

[root@node1 ~]#cat /lib/systemd/system/kafka.service
[Unit]
Description=Apache kafka
After=network.target

[Service]
Type=simple
#Environment=AVA_HOME=/data/server/java
PIDFile=/usr/local/kafka/ kafka.pid
Execstart=/usr/local/kafka/bin/kafka-server-start.sh   /usr/local/kafka/config/server. propertiesExecstop=/bin/kill  -TERM ${MAINPID}
Restart=always
Restartsec=20

[Install]
wantedBy=multi-user.target

[root@node1 ~]#systemctl daemon-load
[root@node1 ~]#systemctl restart kafka.service

Kafka读写数据

常见命令
kafka-topics.sh               #消息的管理命令
kafka-console-producer.sh     #生产者的模拟命令
kafka-console-consumer.sh     #消费者的模拟命令

创建Topic

创建topic名为wang,partitions(分区)为3，replication(每个分区的副本数/每个分区的分区因子)为2

#新版命令
[root@node1 ~]#/usr/loca1/kafka/bin/kafka-topics.sh --create --topic wang --bootstrap-server 10.0.0.101:9092 --partitions 3 --replication-factor 2

#在各节点上观察生成的相关数据
[root@node1 ~]#ls /usr/local/kafka/data/
[root@node2 ~]#ls /usr/local/kafka/data/
[root@node3 ~]#ls /usr/local/kafka/data/

#旧版命令
[root@node1 ~]#/usr/loca1/kafka/bin/kafka-topics.sh --create --zookeeper
10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181 --partitions 3 --replication-factor 2 --topic wang
created topic wang.

获取Topic

#新版命令
[root@node1 ~]#/usr/local/kafka/bin/kafka-topics.sh --list --bootstrap-server 10.0.0.101:9092

#旧版命令
[root@node1 ~]#/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper10.0.0.101:2181,10.0.0.102 :2181,10.0.0.103:2181
wang

在这里插入图片描述

验证Topic详情

状态说明: wang有三个分区分别为0、1、2，分区0的leader是3(broker.id);分区0有2个副本，并且状态都为 Isr (In-sync，表示可以参加选举成为leader) .

#新版命令
[root@node1 ~]#/usr/local/kafka/bin/kafka-topics.sh --describe --bootstrap-server 10.0.0.101:9092 --topi cwang
Topic: wang TopicId: beg6bPXwTowlyp7cuv7F8w PartitionCount: 3  ReplicationFactor: 2   configs:
    Topic: wang Partition: 0   Leader: 3   Replicas: 3,1  ISr: 3,1
    Topic: wang Partition: 1   Leader: 1   Replicas: 1,2  Isr: 1,2
    Topic: wang Partition: 2   Leader: 2   Replicas: 2,3  Isr: 2,3

#旧版命令
[root@node1 ~]#/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181 --topic wang
Topic: wang Partitioncount: 3  ReplicationFactor: 2  configs:
    Topic: wang Partition:0    Leader: 3   Replicas: 3,2  Isr: 3,2
    Topic: wang Partition:1    Leader: 1   Replicas: 1,3  Isr: 1,3
    Topic: wang Partition:2    Leader: 2   Replicas: 2,1  Isr: 2,1

生成Topic

kafka-console-producer.sh格式

#发送消息命令格式:
kafka-console-producer.sh --broker-1ist <kafkaIP1>:<端口>,<kafkaIP2> :<端口> --topic <topic名称>

范例

#交互式输入消息,按ctr1+C退出
[root@node1 ~]#/usr/local/kafka/bin/kafka-console-producer.sh --broker-list
10.0.0.101:9092,10.0.0.102:9092,10.0.0.103:9092 --topic wang
>message1
>message2
>message3

#或者下面方式
[root@node1 ~]#/usr/local/kafka/bin/kafka-console-producer.sh --topic wang --bootstrap-server 10.0.0.101:9092

消费Topic

kafka-console-consumer.sh格式

#接收消息命令格式:
kafka-console-consumer.sh --bootstrap-server <host>:<post> --topic <topic名称> --from-beginning --consumer-property group.id=<组名称>

注意:
  ·生产者先生产消息，消费者后续启动也能收到之前生产的消息
  
  ·同一个消息在同一个group内的消费者只有被一个消费者消费，
   比如:共100条消息，在一个group内有A，B两个消费者，其中A消费50条，B消费另外的50条消息。
   从而实现负载均衡，不同group内的消费者则可以同时消费同一个消息
   
  ·--from-beginning表示消费前发布的消息也能收到，默认只能收到消费后发布的新消息

#交互式持续接收消息,按Ctrl+C退出
[root@node1 ~]#/usr/local/kafka/bin/kafka-console-consumer.sh --topic wang --bootstrap-server 10.0.0.102:9092 --from-beginning
message1
message3
message2

#一个消息同时只能被同一个组内一个消费者消费（单播机制)，实现负载均衡，而不能组可以同时消费同一个消息（多播机制)
[root@node2~]#/usr/local/kafka/bin/kafka-console-consumer.sh --topic wang --bootstrap-server 10.0.0.102:9092 --from-beginning --consumer-property group.id=group1

[root@node2~]#/usr/local/kafka/bin/kafka-console-consumer.sh --topic wang --bootstrap-server 10.0.0.102:9092 --from-beginning --consumer-property group.id=group1

删除 Topic

#注意:需要修改配置文件server.properties中的delete.topic.enable=true并重启
#新版本
[root@node3 ~]#/usr/local/kafka/bin/kafka-topics.sh --delete --bootstrap-server10.0.0.101:9092,10.0.0.102:9092,10.0.0.103:9092 --topic wang

#旧版本
[root@node3 ~-]#/usr/local/kafka/bin/kafka-topics.sh --delete --zookeeper10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181 --topic wang
Topic wang is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.

范例:删除zk下面topic test

#无需修改配置文件server.properties，此方法很危险
[root@zookeeper-node1 ~]#zkCli.sh -server 10.0.0.103:2181
[zk: 10.0.0.103:2181(CONNECTED)0] ls /brokers/topics
[zk: 10.0.0.103:2181(CONNECTED)0] delete all /brokers/topics/test
[zk: 10.0.0.103:2181(CONNECTED)0] ls /brokers/topics
flytalei
关注
  • 10
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka-Vip-高性能消息中间件Kafka实战(1)1
08-08
Kafka 是一款高性能的分布式消息中间件，由 Scala 编写，主要特点是高吞吐量、持久化和可扩展性。Kafka 不是严格遵循 JMS 规范，但借鉴了其思想，提供了消息发布订阅功能。在 Kafka 中，消息以 Topic 形式组织，每个...
scala-kafka-client：用于运行Apache Kafka客户端库的Scala帮助器模块（0.9.x-2.1.0）
02-05
8. **批量操作**：通过批处理发送和接收消息，可以减少网络I/O和提高吞吐量，这对于大数据处理和实时分析场景特别有利。 9. **监控与调试**：提供日志记录和监控接口，便于跟踪和调试应用程序的行为，以及集成到...
消息中间件---kafka---理论知识
程序yuan同学
09-04 385
文章目录kafka入门什么是kafkakafka中的基本概念消息和批次主题和分区生产者和消费者、偏移量、消费者群组Broker和集群保留消息为什么选择kafka优点常见场景活动跟踪传递消息收集指标和日志提交日志流处理 kafka入门 什么是kafka   Kafka可以看成一个流平台，这个平台上可以发布和订阅数据流，并把他们保存起来，进行处理。Kafka有点像消息系统，允许发布和订阅消息流，但是它和传统的消息系统有很大的差异，首先，Kafka是个现代分布式系统，以集群的方式运行，可以自由伸缩。其次，Kafk
Kafka--分布式消息中间件系统
weixin_68840588的博客
07-08 807
Kafka
消息中间件高频面试题整理（RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ）
热门推荐
张彦峰的博客
04-07 168万+
消息中间件基本问题整理分析
消息中间件---kafka---生产者和消费者
程序yuan同学
09-09 2105
文章目录第一个kafka程序生产者发送消息必选属性bootstrap.serverskey.serializervalue.serializer消费者接收消息必选参数group.idkafka的生产者生产者发送消息的基本流程 第一个kafka程序 生产者发送消息 public class HelloKafkaProducer { public static void main(String[] args) { //常量可以去ProducerConfig去查看 Pro
消息中间件-kafka实战-第一章-介绍
Blueeyedboy521的博客
09-19 662
Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。Kafka最新定义：Kafka是一个开源的分布式事件流平台（Event Streaming Platform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。
Apache Kafka 3.0.0 (kafka-3.0.0-src.tgz）
02-17
Apache Kafka 3.0.0 是一款强大的开源分布式事件流处理平台，它的核心特性在于提供高吞吐量、低延迟的消息传递服务。这个版本的Kafka源代码（kafka-3.0.0-src.tgz）是开发人员深入了解和定制Kafka内部机制的重要资源...
kafka-2.13-3.7.0.tgz
04-08
1. **高吞吐量**：Kafka通过批量发送和零拷贝技术实现了高效的I/O操作，从而达到每秒数十万条消息的处理能力。 2. **持久化**：Kafka将消息写入磁盘，并提供可配置的保留策略，如按时间或大小删除，确保消息不会...
消息中间件的一点经验 rabbitmq、activemq、rocketmq、kafka-mq-research.zip
01-30
在选择消息中间件时，应考虑以下因素：是否符合项目的技术栈（如支持的协议和编程语言）、性能需求（如处理速度、吞吐量和延迟）、稳定性（如故障恢复和高可用性）、以及特定业务场景的需求（如消息顺序、事务支持等...
Kafka （快速）安装部署
m0_62943934的博客
09-08 997
进行下载，Scala 2.12 和 Scala 2.13 主要是使用Scala编译的版本不同，两者皆可。接下来我们还需要在每个 zookeeper 节点的数据目录下创建对应的服务id文件与上面配置的。针对每个节点修改主机名称，查看当前主机的ip地址并固定，添加子网掩码，网关，DNS1。Kafka一般情况下都是分布式架构的，单机节点的使用情况基本不存在——了解即可。当然，也可以只安装并配置一台zookeeper，然后将整个软件拷贝过去。环境变量，以及将$ZK_HOME/bin文件夹加入PATH环境变量中。
Springboot整合【Kafka】
weixin_57259781的博客
09-05 539
Springboot整合【Kafka】
Kafka【十一】数据一致性与高水位（HW ：High Watermark）机制
小小默：进无止境
09-05 581
Leader副本作为数据的读写副本，所以生产者的数据都会发送给leader副本，而两个follower副本会周期性地同步leader副本的数据，但是因为网络，资源等因素的制约，同步数据的过程是有一定延迟的，所以3个副本之间的数据可能是不同的。此时我们就会发现，对于消费者而言，之前leader副本能访问的数据是D，但是重新选择leader副本后，能访问的数据就变成了C，这样消费者就会认为数据丢失了，也就是所谓的数据不一致了。图中的主题有3个分区，每个分区有3个副本，这样数据可以冗余存储，提高了数据的可用性。
linux 虚拟机部署kafka+zookeeper单机方案
jiang0615csdn的博客
09-05 653
linux 虚拟机部署kafka+zookeeper单机方案
Kafka【十二】消费者拉取主题分区的分配策略
小小默：进无止境
09-06 1198
消费者想要拉取主题分区的数据，首先必须要加入到一个组中。但是一个组中有多个消费者的话，那么每一个消费者该如何消费呢，是不是像图中一样的消费策略呢？如果是的话，那假设消费者组中只有2个消费者或有4个消费者，和分区的数量不匹配，怎么办？当消费者加入群组的时候，会发送一个JoinGroup请求。群主负责给每一个消费者分配分区。每个消费者只知道自己的分配信息，只有群主知道群组内所有消费者的分配信息。
每天一道面试题（5）：Kafka 的零拷贝原理
码码哈哈的博客
09-08 903
零拷贝是一种减少数据拷贝的机制，能够有效提升数据处理效率。通过零拷贝，可以减少数据在磁盘、内存和网络之间的拷贝次数，从而提升系统性能。
熟悉Kafka组成模块、Kafka消息提交的方式及优缺点
程序员-杨胡广的博客
09-08 1286
的消息系统，如果按常理来设计，大家是不是把消息发送者的消息直接发送给消息消费者？但Kafka并不是这么设计的，Kafka消息的生产者会对消息进行分类，再发送给中间的消息服务系统，而消息消费者通过订阅某分类的消息去接受特定类型的消息。每一个主题下的消息都需要提交到Broker的磁盘里，假如我们搭建了三个Broker节点组成的Kafka集群，一般情况下同一个主题下的消息会被分到三个分区进行存储。其实这么设计的目的也是为了满足大量业务消息的接入，要是单一的消息发送和接收，那开个进程的。的话，不会有吞吐量的问题。
分布式中间件-几个常用的消息中间件
最新发布
wendao76的专栏
09-08 1094
分布式， 消息中间件
Redis分布式
Flying_Fish_roe的博客
09-07 918
Redis 的分布式架构包括主从复制、哨兵模式以及 Redis Cluster，分别适用于不同的应用场景。从简单的高可用性需求到复杂的水平扩展要求，Redis 提供了灵活的解决方案。在实现 Redis 分布式系统时，需要根据具体的应用场景进行合理的选择和配置，确保系统在性能、一致性和高可用性之间达到最佳平衡。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值