Kafka3.x重点归纳2

最新推荐文章于 2024-05-28 10:57:44 发布
最新推荐文章于 2024-05-28 10:57:44 发布
阅读量504 收藏 2
点赞数
分类专栏： 大数据 kafka 文章标签： java kafka 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43585580/article/details/125735430
版权

第1章 Kafka概述

1.1 定义

在这里插入图片描述

1.2 传统消息队列的应用场景

  1. 传统的消费队列的主要应用场景有：缓存/削峰、解耦、异步通信。
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述

1.3 消息队列的两种模式

消息队列主要分为两种模式：点对点模式和发布/订阅模式。
在这里插入图片描述

1.4 Kafka基础架构

在这里插入图片描述

1）Producer ：消息生产者，就是向kafka broker发消息的客户端；
2）Consumer ：消息消费者，向kafka broker取消息的客户端；
3）Consumer Group （CG）：消费者组，由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据，一个topic下的一个分区只能被一个消费者组内的一个消费者所消费；消费者组之间互不影响。消费者组是逻辑上的一个订阅者。
4）Broker ：一台kafka服务器就是一个broker。一个broker可以容纳多个topic。
5）Topic ：可以理解为一个队列，生产者和消费者面向的都是一个topic；
6）Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列；
7）Replica：副本，为保证集群中的某个节点发生故障时，该节点上的partition数据不丢失，且kafka仍然能够继续工作，kafka提供了副本机制，一个topic的每个分区都有若干个副本，一个leader和若干个follower。
8）leader：每个分区副本中的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是leader。
9）follower：每个分区副本中的“从”，实时与leader副本保持同步，在leader发生故障时，成为新的leader。

第2章 Kafka命令行操作

在这里插入图片描述

2.1 主题命令行操作

1. 查看操作主题命令需要的参数

[chenyunde@hadoop102 kafka]$ bin/kafka-topics.sh

2. 重要的参数如下

参数 描述
–bootstrap-server 连接kafka Broker主机名称和端口号
–topic 操作的topic名称
–create 创建主题
–delete 删除主题
–alter 修改主题
–list 查看所有主题
–describe 查看主题详细描述
–partitions 设置主题分区数
–replication-factor 设置主题分区副本
–config 更新系统默认的配置

3. 查看当前服务器中的所有topic

[chenyunde@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

4. 创建一个主题名为first的topic

[chenyunde@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --replication-factor 2 --partitions 1 --topic first

5. 查看Topic的详情

[chenyunde@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

Topic: first    TopicId: EVV4qHcSR_q0O8YyD32gFg PartitionCount: 1       ReplicationFactor: 3    Configs: segment.bytes=1073741824
        Topic: first    Partition: 0    Leader: 102     Replicas: 102,103,104   Isr: 102,103,104

6. 修改分区数（注意：分区数只能增加，不能减少）

[chenyunde@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 3

7. 再次查看Topic的详情

[chenyunde@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

Topic: first    TopicId: EVV4qHcSR_q0O8YyD32gFg PartitionCount: 3       ReplicationFactor: 3    Configs: segment.bytes=1073741824
        Topic: first    Partition: 0    Leader: 102     Replicas: 102,103,104   Isr: 102,103,104
        Topic: first    Partition: 1    Leader: 103     Replicas: 103,104,102   Isr: 103,104,102
        Topic: first    Partition: 2    Leader: 104     Replicas: 104,102,103   Isr: 104,102,103

8. 删除topic

[chenyunde@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic first

2.2 生产者命令行操作

1. 查看命令行生产者的参数

[chenyunde@hadoop102 kafka]$ bin/kafka-console-producer.sh

2. 重要的参数如下：

参数 描述
–bootstrap-server 连接kafka Broker主机名称和端口号
–topic 操作的topic名称

3. 生产消息

[chenyunde@hadoop102 kafka]$ bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic first

hello world
aaa  aaa

2.3 消费者命令行操作

1. 查看命令行消费者的参数

[chenyunde@hadoop102 kafka]$ bin/kafka-console-consumer.sh

2. 重要的参数如下：

参数 描述
–bootstrap-server 连接kafka Broker主机名称和端口号
–topic 操作的topic名称
–from-beginning 从头开始消费
–group 指定消费者组名称

3. 消费消息

[chenyunde@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

4. 从头开始消费

//将kafka的历史数据都拿过来消费
[chenyunde@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first

思考：再次查看当前kafka中的topic列表，发现了什么？为什么

第3章 Kafka生产者

3.1 生产者消息发送流程

3.1.1 发送原理

Kafka的Producer发送消息采用的是异步发送的方式。
在消息发送的过程中，涉及到了两个线程:main线程和Sender线程，以及一个线程共享变量:RecordAccumulator。
①main线程中创建了一个双端队列RecordAccumulator，将消息发送给RecordAccumulator。
②Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。

在这里插入图片描述

图解

  1. 希望将外部接收来的数据传送到kafka集群
  2. 创建一个Kafka Producer对象，有了这个对象可以将数据发到kafka集群
  3. 该对象调用send方法
  4. 数据经过拦截器，对数据进行加工(可以选择不用，生产环境用的不多，flume拦截器配置使用起来更简单一些)
  5. 数据继续往下传，经过序列化器(Java自带多序列化器太重)
  6. 数据继续往下传，走到分区器，分区器来按照规则判断分区让数据进入到哪个RecordAccumulator对象的队列中(一个分区一个队列，这一步都是在内存中完成的，默认大小是32m，每一次批次大小是16k)
  7. sender线程是将队列中的数据读取发往kafka集群(batch.size：只有数据累计到batch.size之后，sender才会发送数据。默认16k；linger.ms：如果数据迟迟未达到batch.size，sender等待linger.ms设置的时间到了之后就会发送数据。单位ms，默认值是0ms，表示没有延迟)
  8. NetworkClient里InFlightRequests默认最多可以缓存每个节点的五个未应答的请求
  9. selector打通后，队列向leader发送数据，leader向follower同步数据
  10. kafka应答级别(如果设置成0:生产者发送过来的数据，不需要等数据落盘应答；ack=1:生产者发送过来的数据，Leader收到数据后应答，即使副本没有同步完成；ack=-1或者all：生产者发送过来的数据，Leader和ISR队列里面的所有节点收起数据后应答。-1和all等价。后面会详细讲解)
  11. ack应答如果返回成功，清理这次请求和对应分区数据，应答失败则进行重试，重试的次数是int的最大值(直到成功为止，可修改)

3.1.2 生产者重要参数列表

参数名称 描述
bootstrap.servers 生产者连接集群所需的broker地址清单。可以设置1个或者多个，中间用逗号隔开。生产者从给定的broker里查找到其他broker信息。
key.serializer、 value.serializer 指定发送消息的key和value的序列化类型。要写全类名。
buffer.memory RecordAccumulator缓冲区总大小，默认32m。
batch.size 缓冲区一批数据最大值，默认16k。适当增加该值，可以提高吞吐量，但是如果该值设置太大，会导致数据传输延迟增加。
linger.ms 如果数据迟迟未达到batch.size，sender等待linger.time之后就会发送数据。单位ms，默认值是0ms，表示没有延迟。生产环境建议该值大小为5-100ms之间。
acks 0：生产者发送过来的数据，不需要等数据落盘应答。1：生产者发送过来的数据，Leader数据落盘后应答。-1（all）：生产者发送过来的数据，Leader和isr队列里面的所有节点数据都落盘后应答。默认值是-1
max.in.flight.requests.per.connection 允许最多没有返回ack的次数，默认为5，开启幂等性要保证该值是 1-5的数字。
retries 当消息发送出现错误的时候，系统会重发消息。retries表示重试次数。默认是int最大值，2147483647。如果设置了重试，还想保证消息的有序性，需要设置MAX_IN_FLIGHT_REQUESTS_PER_CONNECTION=1否则在重试此失败消息的时候，其他的消息可能发送成功了。
retry.backoff.ms 两次重试之间的时间间隔，默认是100ms。
enable.idempotence 是否开启幂等性，默认true，开启幂等性。
compression.type 生产者发送的所有数据的压缩方式。默认是none，不压缩。 支持压缩类型：none、gzip、snappy、lz4和zstd。

3.2 异步发送API

3.2.1 普通异步发送

  1. 需求：创建Kafka生产者，采用异步的方式发送到Kafka broker
  2. 异步发送流程如下：

在这里插入图片描述

  1. 代码编写
    1）创建工程kafka-demo
    2）导入依赖
<!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients -->
<dependencies>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>3.0.0</version>
        </dependency>
</dependencies>

3）创建包名：com.chenyunde.kafka.producer
4）编写代码：不带回调函数的API

package com.chenyunde.kafka.producer;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serialization.StringSerializer;
import java.util.Properties;

public class CustomProducer {
   
    public static void main(String[] args) throws InterruptedException {
   
        // 1. 创建kafka生产者的配置对象
        Properties properties = new Properties();

        // 2. 给kafka配置对象添加配置信息
        //properties.put("bootstrap.servers","hadoop102:9092");
		properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"hadoop102:9092")
        // key,value序列化
        //properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());
        //properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG,StringSerializer.class.getName());

        // 3. 创建kafka生产者对象
        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<String, String>(properties);

        // 4. 调用send方法,发送消息
        for (int i = 0; i < 10; i++) {
   
            kafkaProducer.send(new ProducerRecord<>("first","kafka" + i));
        }

        // 5. 关闭资源
        kafkaProducer.close();
    }
}

5）测试：
在hadoop102上开启kafka消费者

[chenyunde@hadoop104 kafka]$ sbin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

在IDEA中执行上述代码，观察hadoop102消费者输出

[chenyunde@hadoop104 kafka]$ sbin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

kafka0
kafka1
kafka2
kafka3

3.2.2 带回调函数的异步发送

  1. 回调函数会在producer收到ack时调用，为异步调用。
    该方法有两个参数分别是RecordMetadata（元数据信息）和Exception（异常信息）。
    ·如果Exception为null，说明消息发送成功，
    ·如果Exception不为null，说明消息发送失败。
  2. 带回调函数的异步调用发送流程
    在这里插入图片描述
    注意：消息发送失败会自动重试，不需要我们在回调函数中手动重试。

3.3 同步发送API

  1. 同步发送的意思就是，一条消息发送之后，会阻塞当前线程，直至返回ack。
    由于send方法返回的是一个Future对象，根据Futrue对象的特点，我们也可以实现同步发送的效果，只需在调用Future对象的get方发即可。
  2. 同步发送流程示意图如下：
    在这里插入图片描述

3.4 生产者分区

3.4.1 分区的原因

在这里插入图片描述

3.4.2 生产者分区策略

在这里插入图片描述
kafka分区的好处

  1. 便于合理使用存储资源，每个Partition在一个Broker上存储，可以把海量的数据按照分区切割成一块一块数据存储在多台Broker上。合理控制分区的任务，可以实现负载均衡的效果。
  2. 提高并行度，生产者可以以分区为单位发送数据；消费者可以以分区为单位进行消费数据

1．默认分区器

DefaultPartitioner The default partitioning strategy: ·If a partition
is specified in the record, use it ·If no partition is specified but a
key is present choose a partition based on a hash of the key ·If no
partition or key is present choose the sticky partition that changes
when the batch is full. public class DefaultPartitioner implements
Partitioner { … … }

2．使用：
1） 我们需要将producer发送的数据封装成一个ProducerRecord对象。
2） 上述的分区策略，我们在ProducerRecord对象中进行配置。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

3.4.3 自定义分区器

  1. 生产环境中，我们往往需要更加自由的分区需求，我们可以自定义分区器。
  2. 需求：在上面的根据key分区案例中，我们发现与我们知道的hash分区结果不同。那么我们就实现一个。
    3．实现步骤：
    ① 定义类，实现Partitioner接口
    ② 重写partition()方法
  3. 代码实现：
package com.chenyunde.kafka.partitioner;

import org.apache.kafka.clients.producer.Partitioner;
import org.apache.kafka.common.Cluster;
import java.util.Map;

/**
 * @author leon
 * @create 2020-12-11 10:43
 * 1. 实现接口Partitioner
 * 2. 实现3个方法:partition,close,configure
 * 3. 编写partition方法,返回分区号
 */
public class MyPartitioner implements Partitioner {
   
    /**
    *  分区方法
    **/
    @Override
    public int partition(String topic, Object key, byte[] keyBytes, Object value, byte[] valueBytes, Cluster cluster) {
   
       // 1. 获取key
        String keyStr = key.toString();
        // 2. 创建分区号，返回的结果
        int partNum;
        // 3. 计算key的hash值
        int keyStrHash = keyStr.hashCode();
        // 4. 获取topic的分区个数
        int partitionNumber = cluster.partitionCountForTopic(topic);
        // 5. 计算分区号
        partNum = Math.abs(keyStrHash) % partitionNumber;
        // 4. 返回分区号
        return partNum;
    }

    // 关闭资源
    @Override
    public void close() {
   
    }

    // 配置方法
    @Override
    public void configure(Map<String, ?> configs) {
   
    }
}
  1. 测试
    在生产者代码中，通过配置对象，添加自定义分区器
    // 添加自定义分区器
properties.put(ProducerConfig.PARTITIONER_CLASS_CONFIG," com.chenyunde.kafka.partitioner.MyPartitioner ");

在hadoop102上启动kafka消费者

[chenyunde@hadoop102 kafka]$ sbin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

在IDEA中观察回调信息

消息：chenyunde 2, 主题：first->分区：2
消息：chenyunde 5, 主题：first->分区：2
消息：chenyunde 8, 主题：first->分区：2
消息：chenyunde 1, 主题：first->分区：1
消息：chenyunde 4, 主题：first->分区：1
消息：chenyunde 7, 主题：first->分区：1
消息：chenyunde 10, 主题：first->分区：1
消息：chenyunde 3, 主题：first->分区：0
消息：chenyunde 6, 主题：first->分区：0
消息：chenyunde 9, 主题：first->分区：0

3.5 生产经验——生产者如何提高吞吐量

3.5.1 吞吐量

在这里插入图片描述

3.5.2 案例实操

  1. 编写代码：
package com.chenyunde.kafka.producer;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import java.util.Properties;

public class CustomProducerParameters {
   

    public static void main(String[] args) throws InterruptedException {
   

        // 1. 创建kafka生产者的配置对象
        Properties properties = new Properties();

        // 2. 给kafka配置对象添加配置信息：bootstrap.servers
        properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop102:9092");
        
        // key,value序列化（必须）：key.serializer，value.serializer
        properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        // batch.size：批次大小，默认16K
        properties.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384);

        // linger.ms：等待时间，默认0
        properties.put(ProducerConfig.LINGER_MS_CONFIG, 1);

        // RecordAccumulator：缓冲区大小，默认32M：buffer.memory
        properties.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);

        // compression.type：压缩，默认none，可配置值gzip、snappy、lz4和zstd
properties.put(ProducerConfig.COMPRESSION_TYPE_CONFIG,"snappy");

        // 3. 创建kafka生产者对象
        KafkaProducer<String, String> kafkaProducer = new KafkaProducer<String, String>(properties);

        // 4. 调用send方法,发送消息
最低0.47元/天 解锁文章
水花反复横跳
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka3.x最全面的总结
rianple的博客
02-23 1246
一、概述 　　（一）、kafka的定义 　　　　　　1、定义 　　　　　　　　1）kafka传统的定义：kafka是一个分布式的基于发布/订阅模式的消息队列，主要用于大数据实时处理领域 　　　　　　　　2）kafka最新的定义：kafka是一个开源的分布式事件流平台（event stream platform），主要用高性能数据管道，流分析，数据集成和关键任务等领域 　　　　　　2、消息队列 　　　　　　　　目前市面上大部分公司采用的消息队列主要有kafka，activeMQ，rabbitMQ，
kafka2.3与2.0版本对比_OpenSNS 6.2.0版本更新，微社区5.4.0版本同步更新
weixin_39648492的博客
01-26 125
OpenSNS是以社交+动态为核心的开源社交系统，在行业有一定的知名度，多年来深得行业内开发者的喜爱。开源社交系统OpenSNS 6.2.0版本更新，微社区5.4.0版本同步更新，本期OpenSNS更新主要以PC开源版跟商业版为主，开源版方面以修复为主，商业版本除了修复功能之外，还新增三块功能。OpenSNS 6.2 .0版本开源版本 主要修复功能1.网站设置-网站备案号增加可跳转链接配置2.优化...
kafka2.3与2.0版本对比_?? React Suite 4.0 版本发布
weixin_42468562的博客
01-24 194
开学了，又是一个新的起点。伴着丝丝凉爽的秋风，React Suite 迎来了 4.0 版本的发布。从 2019 年 3 月份开始设计 V4 版本，经历了 6 个多月的开发与测试，讨论与争执，终于完成了所有的计划。 春种一粒粟，秋收万颗子，在这个收获的季节，我们为大家准备了一系列的更新，准备好了吗? 嘟嘟嘟嘟... 一、从 Flow 迁移到 TypeScript 首先，感谢 Flow 任教了整个 ...
kafka 2.X版本升级到3.X
Jerelli的博客
04-25 929
kakfa版本升级
kafka2.x和3.x相关命令
陈小哥cw
09-07 422
Kafka2.x命令。
Kafka3.x从入门到精通.xmind
01-04
Kafka3.x从入门到精通.xmind
下载慢？给你Kafka 2.xx所有版本下载的百度网盘链接
05-12
Kafka 2.xx所有版本下载的百度网盘链接。包括： kafka_2.11-2.0.0.tgz, kafka_2.11-2.0.1.tgz, kafka_2.11-2.1.0.tgz, kafka_2.11-2.1.1.tgz, kafka_2.11-2.2.0.tgz, kafka_2.11-2.2.1.tgz, kafka_2.11-2.2.2.tgz, ...
springBoot2.x集成kafka
01-06
最近在做一个物联网paas项目，实时设备预警结合kafka流式实时计算的特定，采用springBoot结合kafka来完成 kafka环境搭建——kafka基本命令及环境搭建 ...spring.kafka.consumer.key-deserializer=org.apache.kafka
kafka处理超大消息的配置 org.apache.kafka.common.errors.RecordTooLargeException
01-07
java.lang.RuntimeException: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server ...
kafka 3.x基础笔记，基础技术，环境搭建，外部集成，生产调优，源码解析
05-06
kafka 3.x 基础笔记，基础技术，环境搭建，外部集成，生产调优，源码解析，让你从入门到精通
从 Kafka 2.x 到 Kafka 3.x：升级之旅
最新发布
weixin_44976692的博客
05-28 3014
Kafka 3.x 相比 Kafka 2.x 引入了许多新特性和改进，特别是 KRaft 模式的推出，大大简化了集群管理。通过本文的比较和实际应用案例分享，我们可以看到 Kafka 3.x 在性能、稳定性和管理方面的显著提升。对于有大数据流处理需求的企业来说，升级到 Kafka 3.x 是一个值得考虑的选择。希望通过这篇博客，大家能够更好地了解 Kafka 2.x 和 Kafka 3.x 的区别，并在实际应用中充分发挥 Kafka 3.x 的优势。
分布式消息系统 Kafka 简介
weixin_34032827的博客
08-19 336
2019独角兽企业重金招聘Python工程师标准>>> ...
kafka各个版本的特性
不见其长，日有所长
02-27 3232
kafka-0.8.2 新特性 　　producer不再区分同步（sync）和异步方式（async），所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的re...
Kafka 3.0新版本差异
肥叔菌的博客
02-22 3202
Kafka core 第一部分：基础升级 弃用对Java 8和Scala 2.12的支持 第二部分：kafka Raft 快照 Kafka 2.8.0正式发布了KRaft的先行版，并且支持在KRaft模式下的部署和运行。KRaft模式下的Katka可以充全脱商zookeeper运行，使用自己的基于Raft第法实现的quorum来保证分布式Metadata的一致。这样我们只需要管理和配置一项服务即可，让kafka集群更加具有可扩展性，并且让其能够支持更多的topic和partition。 在kafka
Kafka 3.0新特性
csdn_manong1的博客
10-18 742
Kafka 3.0 的发布标志着社区对 Kafka 项目迈向了一个新的里程牌。正式改名为EFAK），EFAK会持续更新迭代优化，为大家管理Kafka集群和使用Kafka应用提供便利，欢迎大家使用EFAK，也可以到Github或者EAFK官网上关注EFAK的最新动态。
Kafka 3.0新特性全面曝光，真香！
大数据星球-浪尖
06-15 1278
导语|kafka3.0的版本已经试推行去zk的kafka架构了，如果去掉了zk，那么在kafka新的版本当中使用什么技术来代替了zk的位置呢，接下来我们一起来一探究竟，了解kafka的内置共识机制和raft算法。一、Kafka简介Kafka是一款开源的消息引擎系统。一个典型的Kafka体系架构包括若干Producer、若干Broker、若干Consumer，以及一个Z...
大数据之 Hadoop 初识
ijwwio的博客
11-30 1774
Hadoop概述 Hadoop:一个由Apache基金会所开发的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题。 Hadoop优势 (4高） 高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元 素或存储出现故障，也不会导致数据的丢失。 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 高有效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处 理速度。 高容错性：能够自动将失败的任务重新分配。 Hadoop组成 （面试重点） H
kafka系列之彻底弄清楚各版本差异
dtrtrddrgd的博客
09-28 2951
我自己用了 kafka 也挺久的了，关于kafka的版本规则，各个大版本的升级究竟做了哪些优化等，并没有特别的关注。 本文打算做一个比较详细的整理。 1、版本命名规则 1.x之后，kafka 全面启用三位数的命名规则。也就是说，以前的版本都是这样色的， 0.8.2.2 0.9.0.1 0.10.0.0 后来1·x之后，kafka 全面启用了三位数版本规则，如果下图所示， 新的版本规则，即 “大版本-小版本-patch版本“ 比较符合主流。 我们现在看到的 kafka 版本通常是这样的，
kafka的版本号与版本演进
demon7552003的小本本
04-04 835
1、kafka版本命名规则： 在1.x之前的版本，基本遵循4位版本号，例如：0.8.2.2、0.9.0.1、0.10.0.0… 在1.x之后，kafka 全面启用了遵循 Major.Minor.Patch 的三位版本规则，其中Major表示大版本，通常是一些重大改变，因此彼此之间功能可能会不兼容；Minor表示小版本，通常是一些新功能的增加；最后Patch表示修订版，主要为修复一些重点Bug而发布的版本。例如：Kafka 2.1.1，大版本就是2，小版本是1，Patch版本为1，是为修复Bug发布的第1个版
Springboot 2.x配置kafka 2.2.0
07-12
要在Spring Boot 2.x中配置Kafka 2.2.0，首先需要在项目的pom.xml文件中添加相应的依赖项。在这个例子中，我们将使用Spring Kafka来与Kafka集成： ```xml <!-- Spring Kafka --> <groupId>org.springframework....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值