Kafka3.x笔记

最新推荐文章于 2023-07-18 09:53:09 发布
最新推荐文章于 2023-07-18 09:53:09 发布
阅读量596 收藏
点赞数
分类专栏： 消息队列 文章标签： java 服务器 hadoop kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36781386/article/details/125585110
版权

 

 

 

 

 

 

1.本地环境搭建

--条件有限,暂时单服务器模拟集群情况

 cd/etc/profile.d/my_env.sh

 zookeeper集群启动

kafka集群启动

编写kafka.sh 集群操作脚本(先关闭kafka,再关闭zookeeper) 

2.kafka 命令行操作

2.1主题命令行操作

[root@hadoop102 kafka]# bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

[root@hadoop102 kafka]# bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --topic first --create --partitions 1 --replication-factor 3
Created topic first.
[root@hadoop102 kafka]# bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list
first
[root@hadoop102 kafka]# bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --topic first --describe
Topic: first    TopicId: v3lrR_ESRIuzo-QY5Ke7Dg PartitionCount: 1       ReplicationFactor: 3    Configs: segment.bytes=1073741824
        Topic: first    Partition: 0    Leader: 1       Replicas: 1,0,2 Isr: 1,0,2
[root@hadoop102 kafka]# bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --topic first --alter --partitions 3
[root@hadoop102 kafka]# bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --topic first --describe
Topic: first    TopicId: v3lrR_ESRIuzo-QY5Ke7Dg PartitionCount: 3       ReplicationFactor: 3    Configs: segment.bytes=1073741824
        Topic: first    Partition: 0    Leader: 1       Replicas: 1,0,2 Isr: 1,0,2
        Topic: first    Partition: 1    Leader: 2       Replicas: 2,1,0 Isr: 2,1,0
        Topic: first    Partition: 2    Leader: 0       Replicas: 0,2,1 Isr: 0,2,1

生产者连接上集群,发送消息

[root@hadoop102 kafka]# bin/kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic first
>hello
>atguigu
>hello
>

消费者连接集群,消费即时消息(从头获取添加--from-beginning)

[root@hadoop103 kafka]# bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

atguigu
hello
^CProcessed a total of 2 messages
[root@hadoop103 kafka]# bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first --from-beginning
hello
hello
atguigu

3. KafKa生产者

3.1发送流程

 3.2 异步发送API

3.2.1 普通异步发送

    public static void main(String[] args){
        //0 配置
        Properties properties = new Properties();
        //配置连接集群信息
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"hadoop102:9092,hadoop103:9092");
        //指定对应的key和value的序列化类型 key.serializer:org.apache.kafka.common.serialization.StringSerializer
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

        // 1.创建kafka生产者对象
        // "" hello
        KafkaProducer<String, String> producer = new KafkaProducer<String, String>(properties);

        // 2.发送数据
        producer.send(new ProducerRecord<String, String>("first","22:46"));
        producer.send(new ProducerRecord<String, String>("first","22:47"));
        producer.send(new ProducerRecord<String, String>("first","22:48"));

        // 3.关闭资源
        producer.close();
    }

 3.2.2 带回调函数的异步发送流程

public static void main(String[] args){
        //0 配置
        Properties properties = new Properties();
        //配置连接集群信息
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"hadoop102:9092,hadoop103:9092");
        //指定对应的key和value的序列化类型 key.serializer:org.apache.kafka.common.serialization.StringSerializer
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

        // 1.创建kafka生产者对象
        // "" hello
        KafkaProducer<String, String> producer = new KafkaProducer<String, String>(properties);

        // 2.发送数据
        producer.send(new ProducerRecord<String, String>("first", "22:46"), new Callback() {
            public void onCompletion(RecordMetadata metadata, Exception exception) {
                if(exception==null){
                    System.out.println("主题: "+metadata.topic()+" 分区: "+metadata.partition());
                }
            }
        });

        // 3.关闭资源
        producer.close();
    }

 3.3 同步发送API

public static void main(String[] args) throws ExecutionException, InterruptedException {
        //0 配置
        Properties properties = new Properties();
        //配置连接集群信息
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"hadoop102:9092,hadoop103:9092");
        //指定对应的key和value的序列化类型 key.serializer:org.apache.kafka.common.serialization.StringSerializer
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

        // 1.创建kafka生产者对象
        // "" hello
        KafkaProducer<String, String> producer = new KafkaProducer<String, String>(properties);

        // 2.发送数据(同步)
        producer.send(new ProducerRecord<String, String>("first", "22:46")).get();

        // 3.关闭资源
        producer.close();
    }

3.4 生产者分区

3.4.1 分区好处

 3.4.2 生产者发送消息的分区策略

 3.4.3 自定义分区

public class MyPartitioner implements Partitioner {
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
        //获取数据 atguigu hello
        String msgValues = value.toString();

        int partition;
        if(msgValues.contains("atguigu")){
            partition=0;
        }else{
            partition=1;
        }
        return partition;
    }

    public void close() {

    }

    public void configure(Map<String, ?> configs) {

    }
}

3.5 生产经验--生产者如何提高吞吐量

public class CustomerProducerParameters {
    public static void main(String[] args){
        //0 配置信息
        Properties properties = new Properties();

        //连接kafka集群
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"hadoop102:9092,hadoop103:9092");
        //序列化
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class);

        //批次大小 16k
        properties.put(ProducerConfig.BATCH_SIZE_CONFIG,16384);

        //linger;ms 等待时间,默认 0
        properties.put(ProducerConfig.LINGER_MS_CONFIG,1);

        //缓冲区大小 32m
        properties.put(ProducerConfig.BUFFER_MEMORY_CONFIG,33554432);

        //compression.type: 压缩,默认: none ,可配置值 gzip/snappy/lz4/zstd
        properties.put(ProducerConfig.COMPRESSION_TYPE_CONFIG,"snappy");


        //1 创建生产者
        KafkaProducer kafkaProducer = new KafkaProducer<String,String>(properties);

        //2 发送数据
        for (int i = 0; i < 5; i++) {
            kafkaProducer.send(new ProducerRecord("first","atguigu"+i));
        }

        //关闭资源
        kafkaProducer.close();
    }
}

 3.6 生产经验-数据可靠性

 

 3.7 生产经验-数据重复

 

3.7.3 生产者事务

3.8 生产经验-数据有序

3.9 生产经验-数据乱序

第四章 Kafka Broker

4.1 kafka broker工作流程

4.1.1 zookeeper存储的kafka信息

PrettyZoo-高颜值的zookeeper可视化工具_张俊杰1994的博客-CSDN博客_prettyzoo使用

4.1.2 kafka Broker总体工作流程

4.2 生产经验--节点服役和退役

退役: 生成负载均衡计划,并执行,更新当前指定topic的数据到其他节点,执行完成状态后,即可删除节点(退役),服役反之一样

 

 4.3 Kafka副本

4.3.1 副本基本信息

 

 新建一个topic,测试将leader关闭后,follower上位的情形:

[root@hadoop102 kafka]# bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --topic atguigu2 --partitions 3 --replication-factor 3
Created topic atguigu2.

[root@hadoop102 kafka]# bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic atguigu2 
Topic: atguigu2 TopicId: vErSSslGStqOC79XJ_BrqQ PartitionCount: 3       ReplicationFactor: 3    Configs: segment.bytes=1073741824
        Topic: atguigu2 Partition: 0    Leader: 1       Replicas: 1,0,2 Isr: 1,0,2
        Topic: atguigu2 Partition: 1    Leader: 0       Replicas: 0,2,1 Isr: 0,2,1
        Topic: atguigu2 Partition: 2    Leader: 2       Replicas: 2,1,0 Isr: 2,1,0

 重启后:

默认:ar(Replicas)第一个+isr存活

4.3.3  Leader和Follower故障处理细节

4.3.4 分区副本分配

错位分布,尽可能保证负载均衡

 4.3.5 生产经验--手动调整分区副本存储

 kafka目录下创建json文件:

vim increase-replication-factor.json

{
        "version":1,
        "partitions":[
                        {
                                "topic":"atguigu3",
                                "partition":0,
                                "replicas":[0,1]
                        },
                        {
                                "topic":"atguigu3",
                                "partition":1,
                                "replicas":[1,0]
                        },
                        {
                                "topic":"atguigu3",
                                "partition":2,
                                "replicas":[0,1]
                        },
        ]
}

[root@hadoop102 kafka]#  bin/kafka-reassign-partitions.sh --bootstrap-server hadoop102:9092 --reassignment-json-file increase-replication-factor.json --execute
Current partition replica assignment

{"version":1,"partitions":[{"topic":"atguigu3","partition":0,"replicas":[0,1],"log_dirs":["any","any"]},{"topic":"atguigu3","partition":1,"replicas":[2,0],"log_dirs":["any","any"]},{"topic":"atguigu3","partition":2,"replicas":[1,2],"log_dirs":["any","any"]}]}

Save this to use as the --reassignment-json-file option during rollback
Successfully started partition reassignments for atguigu3-0,atguigu3-1,atguigu3-2
[root@hadoop102 kafka]# bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic atguigu3
Topic: atguigu3 TopicId: gu4hOjsnRoyzwX1sxJPnTg PartitionCount: 3       ReplicationFactor: 2    Configs: segment.bytes=1073741824
        Topic: atguigu3 Partition: 0    Leader: 0       Replicas: 0,1   Isr: 0,1
        Topic: atguigu3 Partition: 1    Leader: 1       Replicas: 1,0   Isr: 0,1
        Topic: atguigu3 Partition: 2    Leader: 1       Replicas: 0,1   Isr: 1,0
[root@hadoop102 kafka]#  bin/kafka-reassign-partitions.sh --bootstrap-server hadoop102:9092 --reassignment-json-file increase-replication-factor.json --verify
Status of partition reassignment:
Reassignment of partition atguigu3-0 is complete.
Reassignment of partition atguigu3-1 is complete.
Reassignment of partition atguigu3-2 is complete.

Clearing broker-level throttles on brokers 0,1,2
Clearing topic-level throttles on topic atguigu3

4.3.6 生产经验--Leader Partition 负载均衡

 4.3.7 生产经验--增加副本因子

[root@hadoop102 kafka]# bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --topic atguigu3 --partitions 3 --replication-factor 1
Created topic atguigu3.
[root@hadoop102 kafka]# bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic atguigu3Topic: atguigu3 TopicId: i-ghyHlvRV-Q0u9vTlh_9w PartitionCount: 3       ReplicationFactor: 1    Configs: segment.bytes=1073741824
        Topic: atguigu3 Partition: 0    Leader: 0       Replicas: 0     Isr: 0
        Topic: atguigu3 Partition: 1    Leader: 2       Replicas: 2     Isr: 2
        Topic: atguigu3 Partition: 2    Leader: 1       Replicas: 1     Isr: 1
[root@hadoop102 kafka]# vim increase-replication-factor.json 
[root@hadoop102 kafka]#  bin/kafka-reassign-partitions.sh --bootstrap-server hadoop102:9092 --reassignment-json-file increase-replication-factor.json --execute
Current partition replica assignment

{"version":1,"partitions":[{"topic":"atguigu3","partition":0,"replicas":[0],"log_dirs":["any"]},{"topic":"atguigu3","partition":1,"replicas":[2],"log_dirs":["any"]},{"topic":"atguigu3","partition":2,"replicas":[1],"log_dirs":["any"]}]}

Save this to use as the --reassignment-json-file option during rollback
Successfully started partition reassignments for atguigu3-0,atguigu3-1,atguigu3-2
[root@hadoop102 kafka]#  bin/kafka-reassign-partitions.sh --bootstrap-server hadoop102:9092 --reassignment-json-file increase-replication-factor.json --verify
Status of partition reassignment:
Reassignment of partition atguigu3-0 is complete.
Reassignment of partition atguigu3-1 is complete.
Reassignment of partition atguigu3-2 is complete.

Clearing broker-level throttles on brokers 0,1,2
Clearing topic-level throttles on topic atguigu3
[root@hadoop102 kafka]# bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic atguigu3
Topic: atguigu3 TopicId: i-ghyHlvRV-Q0u9vTlh_9w PartitionCount: 3       ReplicationFactor: 3    Configs: segment.bytes=1073741824
        Topic: atguigu3 Partition: 0    Leader: 0       Replicas: 0,1,2 Isr: 0,1,2
        Topic: atguigu3 Partition: 1    Leader: 2       Replicas: 1,0,2 Isr: 2,1,0
        Topic: atguigu3 Partition: 2    Leader: 1       Replicas: 2,0,1 Isr: 1,2,0
[root@hadoop102 kafka]# cat increase-replication-factor.json 
{
        "version":1,
        "partitions":[
                        {
                                "topic":"atguigu3",
                                "partition":0,
                                "replicas":[0,1,2]
                        },
                        {
                                "topic":"atguigu3",
                                "partition":1,
                                "replicas":[1,0,2]
                        },
                        {
                                "topic":"atguigu3",
                                "partition":2,
                                "replicas":[2,0,1]
                        }
        ]
}

4.4 文件存储

4.4.1 文件存储机制

kafka存储索引数据(稀疏索引4kb),按照相对offset,去log文件中定位数据

4.4.2文件清理策略

 4.5 高效读写数据(重要) 

4) 页缓存和零拷贝技术

第5章 Kafka消费者(重点)

5.1 Kafka消费方式

5.2 消费者组原理

 5.3 消费者API

5.3.1 独立消费者案例(订阅主题)

public class CustomConsumer {
    public static void main(String[] args){
        //配置
        Properties properties = new Properties();
        //连接的kafka集群信息
        properties.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG,"hadoop102:9092,hadoop103:9092");
        //反序列化方式
        properties.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        properties.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        //配置groupid
        properties.put(ConsumerConfig.GROUP_ID_CONFIG,"test");
        //创建一个消费者
        KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(properties);
        //定义主题
        consumer.subscribe(Arrays.asList("first"));
        //消费数组
        while(true){
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofSeconds(1));
            for(ConsumerRecord<String, String> record:records){
                System.out.println(record);
            }
        }
    }
}

5.3.2 独立消费者案例(单一消费者消费指定分区)

5.3.3 消费者组案例

 

 5.4 生产经验-分区的分配以及再平衡(分区数>=消费者数,否则消费者溢出不处理)

5.4.1 分区策略-Range概述

5.4.2 RoundRobin 以及再平衡

  

 

 

 手动关闭,45s内将无法发送到指定分区的打包发送另外一个分区,45s超时,则重新分配消费策略

5.4.3 Sticky以及再平衡

 

5.5 offset位移

5.5.1 offset的默认维护位置

 

 5.5.2 自动提交 offset

 

 5.5.3  手动提交offset

 

 

 

5.5.4 指定 Offset消费

 5.5.5 指定时间消费

需求: 在生产环境中,会遇到最近消费的几个小时的数据异常,想要重新按照时间消费.

 5.5.6 漏消费和重复消费

 5.6 生产经验-消费者事务

 5.7 生产经验--数据积压(消费者如何提高吞吐量)

 

懒虫111
关注
专栏目录
Kafka3.x重点归纳2
qq_43585580的博客
08-11 557
kafka
Kafka3.x最全面的总结
rianple的博客
02-23 1310
一、概述 　　（一）、kafka的定义 　　　　　　1、定义 　　　　　　　　1）kafka传统的定义：kafka是一个分布式的基于发布/订阅模式的消息队列，主要用于大数据实时处理领域 　　　　　　　　2）kafka最新的定义：kafka是一个开源的分布式事件流平台（event stream platform），主要用高性能数据管道，流分析，数据集成和关键任务等领域 　　　　　　2、消息队列 　　　　　　　　目前市面上大部分公司采用的消息队列主要有kafka，activeMQ，rabbitMQ，
kafka-3.X常用命令
qq_45594623的博客
12-23 153
Kafka 生产者,消费者,主题常用命令
Kafka笔记3
weixin_44875397的博客
11-20 153
Kafka笔记3Kafka消费者管理offset维护offset的存储offset的更新消费者消费策略（消费者与分区关系）消费策略rebalance 分区重分配Kafka为什么这么快?磁盘顺序I/O索引机制批量操作和压紧零拷贝Kafka消息不丢失的配置 Kafka消费者管理 offset维护 offset的存储 kafka 早期的版本把消费者组和 partition 的 offset 直接维护在 ZK 中，但是读写的性能消耗太大了。后来就放在一个特殊的 topic 中，名字叫_consumer_offset
Kafka3.0 命令行操作
半山腰太挤了，你要去山顶看看
06-23 635
在kafka2.8中就已经开始弃用外部的zookeeper依赖了，而在内部集成了高适配的zk
kafka3.x入门教程（二）
qq_21277357的博客
01-13 356
消费者没有收到消息，这是因为当前使用的命令是只接收当前运行中发送的消息，历史消息不会接收。如果没有指定分区，但是设置了key,那么按照key的hash取余放入不同的分区；比如有100T的数据，直接发送太多了，我们就把主题分成多个区，每个区发送一部分。如果没有指定key和分区，只写了value,那么会随机选择一个分区，一直使用，等到该分区batch满了或者已完成，kafka在随机选择一个新的分区进行使用。至于使用历史的还是当前的，根据你的业务场景来使用；合理的控制分区的任务，可以实现负载均衡的效果。
Kafka3.0版本 日常使用指令
daqu1314的博客
06-15 757
常用命令
【学习笔记】大数据技术之Kafka3.x（生产调优手册）
prague6695的博客
04-05 2572
生产调优手册第 1 章 Kafka 硬件配置选择1.1 场景说明1.2 服务器台数选择1.3 磁盘选择1.4 内存选择1.5 CPU 选择1.6 网络选择第 2 章 Kafka 生产者2.1 Kafka 生产者核心参数配置2.2 生产者如何提高吞吐量2.3 数据可靠性2.4 数据去重2.5 数据有序2.6 数据乱序第 3 章 Kafka Broker3.1 Broker 核心参数配置3.2 服役新节点/退役旧节点3.3 增加分区3.4 增加副本因子3.5 手动调整分区副本存储3.6 Leader Parti
【学习笔记】大数据技术之Kafka3.x（2022版）
prague6695的博客
04-04 4201
大数据技术之Kafka3.x（2022版）第 1 章 Kafka 概述1.1 定义1.2 消息队列1.2.1 传统消息队列的应用场景1.2.2 消息队列的两种模式1.3 Kafka 基础架构2. Kafka 快速入门2.1 安装部署2.1.1 集群规划2.1.2 集群部署2.2.1 主题命令行操作2.2.2 生产者命令行操作2.2.3 消费者命令行操作第 3 章 Kafka 生产者3.1 生产者消息发送流程3.1.1 发送原理3.1.2 生产者重要参数列表3.2 异步发送 API3.2.1 普通异步发送3.
kafka 3.x基础笔记，基础技术，环境搭建，外部集成，生产调优，源码解析
05-06
**Kafka 3.x 基础知识** Kafka 是一个分布式的流处理平台，由 Apache 软件基金会开发并维护。它最初由 LinkedIn 开发，后来成为开源项目，并迅速成为了实时数据处理领域的热门选择。Kafka 3.x 版本在前一版本的基础...
文档资料4.kafka3.x word&pdf笔记.7z
最新发布
08-31
文档资料4.kafka3.x word&pdf笔记.7z
【学习笔记】大数据技术之Kafka3.x（监控，外部系统集成）
prague6695的博客
04-05 2307
大数据技术之Kafka3.x第 6 章 Kafka-Eagle 监控6.1 MySQL 环境准备6.2 Kafka 环境准备6.3 Kafka-Eagle 安装6.4 Kafka-Eagle 页面操作第 7 章 Kafka-Kraft 模式7.1 Kafka-Kraft 架构7.2 Kafka-Kraft 集群部署第 1 章 集成 Flume1.1 Flume 生产者1.2 Flume 消费者第 2 章 集成 Flink2.1 Flink 生产者2.2 Flink 消费者第 3 章 集成 SpringBoo
Kafka常用命令之kafka-console-consumer.sh
热门推荐
Ernest
04-06 12万+
  kafka-console-consumer.sh 脚本是一个简单的控制台 Consumer。此脚本的功能通过调用 ConsoleConsumer 实现。
Kafka命令
10-19 519
查看所有topic: kafka-topics.sh --zookeeper hadoop102:2181 --list 查看具体的topic : kafka-topics.sh --zookeeper hadoop102:2181 --describe --topic first 创建topic : kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitio...
kafka生产者和消费者命令行
weixin_43742510的博客
07-18 950
【代码】kafka生产者和消费者命令行。
Kafka操纵
qq_43259860的博客
02-10 344
Kafka命令 创建主题 bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test 查看主题 bin/kafka-topics.sh --list --bootstrap-server localhost:9092 启动生产端，发送消息 bin/kafka-console-producer.sh --bootstrap-se
Kafka指南
王者归来
12-10 1590
下载 https://kafka.apache.org/downloads kafka_2.13-2.6.0.tgz 启动 单节点zookeeper实例 bin/zookeeper-server-start.sh config/zookeeper.properties Kafka服务器 bin/kafka-server-start.sh config/server.properties 建立主题
kafka常见命令介绍和使用
pingfanblog
01-15 1678
kafka常见命令介绍和使用
尚硅谷kafka3.6x笔记
07-20
Apache Kafka是一个分布式流处理平台，主要用于构建实时数据管道和消息队列系统。在尚硅谷的Kafka 3.6.x学习笔记中，可能会包括以下几个要点： 1. **简介**：Kafka的核心组件有生产者（Producer）、消费者（Consumer）和主题（Topic），生产者将数据发送到主题，消费者从主题订阅并消费数据。 2. **消息模型**：Kafka的消息是以键值对（key-value）形式存储的，每个主题下可以有多个分区，保证了数据的高吞吐量和顺序性。 3. **分布式架构**：Kafka采用复制和分片机制，确保数据冗余和故障转移。它通过Zookeeper管理集群配置和元数据。 4. **可靠性**：Kafka提供持久化消息、消息确认和事务支持，使得数据在网络故障时能够恢复。 5. **性能优化**：Kafka设计了高效的内存管理和磁盘缓存策略，以及异步复制技术，提升整体性能。 6. **编程APIs**：提供了Java、Python、Go等语言的客户端库，方便开发者集成和使用。 7. **应用场景**：常用于日志收集、监控报警、实时分析和微服务间通信。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值