Kafka基础总结

已于 2022-08-20 07:49:13 修改
阅读量645 收藏 2
点赞数
分类专栏： 中间件 文章标签： kafka 大数据
于 2022-08-20 07:48:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49406295/article/details/126435246
版权

文章目录

1、Kafka特性

1.1 为什么要使用 kafka 或消息队列

缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在kafka中，下游服务就可以按照自己的节奏进行慢慢处理。
解耦和扩展性：项目开始的时候，并不能确定具体需求。消息队列可以作为一个接口层，解耦重要的业务流程。只需要遵守约定，针对数据编程即可获取扩展能力。
冗余：可以采用一对多的方式，一个生产者发布消息，可以被多个订阅topic的服务消费到，供多个毫无关联的业务使用。
健壮性：消息队列可以堆积请求，所以消费端业务即使短时间死掉，也不会影响主要业务的正常进行。
异步通信：很多时候，用户不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。

1.2 kafka 为什么那么快

  • Cache Filesystem Cache PageCache缓存

  • 顺序写：由于现代的操作系统提供了预读和写技术，磁盘的顺序写大多数情况下比随机写内存还要快。

  • Zero-copy 零拷技术减少拷贝次数

  • Batching of Messages 批量量处理。合并小的请求，然后以流的方式进行交互，直顶网络上限。

  • Pull 拉模式：使用拉模式进行消息的获取消费，与消费端处理能力相符。



2、kafka集群搭建

kafka下载：https://kafka.apache.org/downloads
客户端工具下载：https://www.kafkatool.com/download.html

  1. 将Kafka的安装包上传到虚拟机，并解压
cd /export/software/
tar -xvzf kafka_2.12-2.4.1.tgz -C ../server/
cd /export/server/kafka_2.12-2.4.1/
  1. 修改 server.properties
cd /export/server/kafka_2.12-2.4.1/config
vim server.properties
# 指定broker的id
broker.id=0
# 指定Kafka数据的位置
log.dirs=/export/server/kafka_2.12-2.4.1/data
# 配置zk的三个节点
zookeeper.connect=node1.itcast.cn:2181,node2.itcast.cn:2181,node3.itcast.cn:2181
  1. 将安装好的kafka复制到另外两台服务器
cd /export/server
scp -r kafka_2.12-2.4.1/ node2.itcast.cn:$PWD
scp -r kafka_2.12-2.4.1/ node3.itcast.cn:$PWD

修改另外两个节点的broker.id分别为1和2
---------node2.itcast.cn--------------
cd /export/server/kafka_2.12-2.4.1/config
vim erver.properties
broker.id=1

--------node3.itcast.cn--------------
cd /export/server/kafka_2.12-2.4.1/config
vim server.properties
broker.id=2
  1. 配置KAFKA_HOME环境变量
vim /etc/profile
export KAFKA_HOME=/export/server/kafka_2.12-2.4.1
export PATH=:$PATH:${KAFKA_HOME}

分发到各个节点
scp /etc/profile node2.itcast.cn:$PWD
scp /etc/profile node3.itcast.cn:$PWD
每个节点加载环境变量
source /etc/profile
  1. 启动服务器
# 启动ZooKeeper
nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
# 启动Kafka
cd /export/server/kafka_2.12-2.4.1
nohup bin/kafka-server-start.sh config/server.properties &
# 测试Kafka集群是否启动成功
bin/kafka-topics.sh --bootstrap-server node1.itcast.cn:9092 --list



3、kafka客户端工具使用

3.1 创建topic

创建一个topic（主题）。Kafka中所有的消息都是保存在主题中，要生产消息到Kafka，首先必须要有一个确定的主题。

# 创建名为test的主题
bin/kafka-topics.sh --create --bootstrap-server node1.itcast.cn:9092 --topic test
# 查看目前Kafka中的主题
bin/kafka-topics.sh --list --bootstrap-server node1.itcast.cn:9092

3.2 生产和消费

# 使用Kafka内置的测试程序，生产一些消息到Kafka的test主题中
bin/kafka-console-producer.sh --broker-list node1.itcast.cn:9092 --topic test
# 消费 test 主题中的消息
bin/kafka-console-consumer.sh --bootstrap-server node1.itcast.cn:9092 --topic test --from-beginning

3.3 性能测试

生产者：500W条消息

bin/kafka-producer-perf-test.sh --topic benchmark --num-records 5000000 --throughput -1 --record-size 1000 --producer-props bootstrap.servers=node1.itcast.cn:9092,node2.itcast.cn:9092,node3.itcast.cn:9092 acks=1

# 解释
--topic         # topic的名字
--num-records   # 总共指定生产数据量（默认5000W）
--throughput    # 指定吞吐量——限流（-1不指定）
--record-size   # record数据大小（字节）
--producer-props bootstrap.servers=192.168.1.20:9092,192.168.1.21:9092,192.168.1.22:9092 acks=1 # 指定Kafka集群地址，ACK模式

消费者：500W条消息

bin/kafka-consumer-perf-test.sh --broker-list node1.itcast.cn:9092,node2.itcast.cn:9092,node3.itcast.cn:9092 --topic benchmark --fetch-size 1048576 --messages 5000000

# 解释
--broker-list # 指定kafka集群地址
--topic       # 指定topic的名称
--fetch-size  # 每次拉取的数据大小
--messages    # 总共要消费的消息个数



4、Kafka原理

4.3 Kafka中的重要概念

  • broker：就是Kafka服务进程，生产者、消费者都要连接broker。

  • topic：主题，一个Kafka集群中，可以包含多个topic。一个topic可以包含多个分区。是一个逻辑结构，生产、消费消息都需要指定topic

  • partition：Kafka集群的分布式就是由分区来实现的。一个topic中的消息可以分布在topic中的不同partition中

  • replica：副本，实现Kafkaf集群的容错，实现partition的容错。一个topic至少应该包含大于1个的副本

  • consumer group：消费者组，一个消费者组中的消费者可以共同消费topic中的分区数据。每一个消费者组都一个唯一的名字。配置group.id一样的消费者是属于同一个组中

  • offset：偏移量。相对消费者、partition来说，可以通过offset来拉取数据

4.2 leader与follower

在Kafka中，每个topic都可以配置多个分区以及多个副本。每个分区都有一个leader以及0个或者多个follower，在创建topic时，Kafka会将每个分区的leader均匀地分配在每个broker上。我们正常使用kafka是感觉不到leader、follower的存在的，但其实所有的读写操作都是由leader处理。

Kafka中的leader负责处理读写操作，而follower只负责副本数据的同步
如果leader出现故障，其他follower会被重新选举为leader
follower像一个consumer一样，拉取leader对应分区的数据，并保存到日志数据文件中

4.3 生产和消费工作流程

  • Kafka数据写入流程

broker进程上的leader将消息写入到本地log中
follower从leader上拉取消息，写入到本地log，并向leader发送ACK
leader接收到所有的ISR中的Replica的ACK后，并向生产者返回ACK。

在这里插入图片描述

  • Kafka消费数据流程

每个consumer都可以根据分配策略（默认RangeAssignor），获得要消费的分区
获取到consumer对应的offset（默认从ZK中获取上一次消费的offset）
找到该分区的leader，拉取数据
消费者提交offset

在这里插入图片描述



5、kafka可靠性问题

5.1 幂等性问题

  • 幂等性就是生产者重复生产了消息：

    Kafka生产者生产消息到partition，如果直接发送消息，kafka会将消息保存到分区中，但Kafka会返回一个ack给生产者，表示当前操作是否成功，是否已经保存了这条消息。如果ack响应的过程失败了，此时生产者会重试，继续发送没有发送成功的消息，Kafka又会保存一条一模一样的消息

在这里插入图片描述

  • kafka幂等性解决方案:

    当Kafka的生产者生产消息时，会增加一个pid（生产者的唯一编号）和sequence number（针对消息的一个递增序列）
    发送消息，会连着pid和sequence number一块发送
    kafka接收到消息，会将消息和pid、sequence number一并保存下来
    如果ack响应失败，生产者重试，再次发送消息时，Kafka会根据pid、sequence number是否需要再保存一条消息
    判断条件：生产者发送过来的sequence number 是否小于等于 partition中消息对应的sequence

5.2 kafka事务

似于数据库的事务，Kafka事务指的是生产者生产消息以及消费者提交offset的操作可以在一个原子操作中，要么都成功，要么都失败。

5.3 如何保证消息不丢失

broker：生产者通过分区的leader写入数据后，所有在ISR中follower都会从leader中复制数据，这样，可以确保即使leader崩溃了，其他的follower的数据仍然是可用的

生产者：生产者连接leader写入数据时，可以通过ACK机制来确保数据已经成功写入。

消费者：在消费者消费数据的时候，只要每个消费者记录好offset值即可，就能保证数据不丢失。

5.4 生产者数据乱序

轮询策略、随机策略都会导致一个问题，生产到Kafka中的数据是乱序存储的。而按key分区可以一定程度上实现数据有序存储——也就是局部有序，但这又可能会导致数据倾斜，所以在实际生产环境中要结合实际情况来做取舍。

5.5 如果leader崩溃，Kafka会如何

Kafka会从其他的follower中快速选举出leader



6、Kafka-Eagle监控

Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点，重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等。

下载地址：http://download.kafka-eagle.org/ （点击Direct File Download下载）

  • 开启kafka JMX

    cd ${KAFKA_HOME}
export JMX_PORT=9988
nohup bin/kafka-server-start.sh config/server.properties &

  • 安装Kafka-Eagle

    cd /export/software/
tar -xvzf kafka-eagle-bin-1.4.6.tar.gz -C ../server/
cd /export/server/kafka-eagle-bin-1.4.6/ 
tar -xvzf kafka-eagle-web-1.4.6-bin.tar.gz
cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6

  • 配置Kafka环境变量

    vim /etc/profile

export KE_HOME=/export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6
export PATH=$PATH:$KE_HOME/bin

  • 配置 kafka_eagle

    vim conf/system-config.properties

# 修改第4行，配置kafka集群别名
kafka.eagle.zk.cluster.alias=cluster1
# 修改第5行，配置ZK集群地址
cluster1.zk.list=node1.itcast.cn:2181,node2.itcast.cn:2181,node3.itcast.cn:2181
# 注释第6行
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

# 修改第32行，打开图标统计
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=30

# 注释第69行，取消sqlite数据库连接配置
#kafka.eagle.driver=org.sqlite.JDBC
#kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
#kafka.eagle.username=root
#kafka.eagle.password=www.kafka-eagle.org

# 修改第77行，开启mys
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://node1.itcast.cn:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=123456

  • 配置JAVA_HOME

    cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin
vim ke.sh
# 在第24行添加JAVA_HOME环境配置
export JAVA_HOME=/export/server/jdk1.8.0_241

  • 修改Kafka eagle可执行权限

    cd /export/server/kafka-eagle-bin-1.4.6/kafka-eagle-web-1.4.6/bin
chmod +x ke.sh

  • 启动 kafka_eagle

    ./ke.sh start
http://node1.itcast.cn:8048/ke  # 访问Kafka eagle，默认用户为admin，密码为：123456
蒋钊锋
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
图解 Kafka 源码实现机制之客户端缓存架构
lxmtim的博客
09-23 1002
这里，我们一起来总结一下这篇文章的重点。1、带你先整体的梳理了 Kafka 客户端消息批量发送的好处。2、通过一个真实生活场景类比来带你理解 RecordAccumulator 内部构造，并且深度剖析了消息是如何在客户端缓存的，以及内部各组件实现原理。3、带你深度剖析了 Kafka 客户端非常重要的 BufferPool 、CopyOnWriteMap 的实现原理。
kafka生产者的缓存机制介绍
守夜人爱吃兔子的博客
07-12 1055
前言 今天我们来看下kafka生产者客户端缓存架构的设计是怎样的？我们先整体看下发送消息到java资料分服务端的完整过程和架构： 消息累加器 其实，整个生产者客户端是由两个线程协调运行的，一个是主线程Producer线程，一个是Sender线程。由主线程生产消息，然后缓存到消息累加器（RecordAccumulator）；而Sender线程则负责从消息累加器中不断获取消息，然后发送到kakfa broker。这个过程大致如下图： 那为什么需要消息累加器呢？直接发送不是更直接？其实主要...
Kafka的存储和缓存策略
互联网知识分享
08-14 593
的内存缓存分为两个部分：消息的读缓存和消息的写缓存。写缓存用于缓存待写入磁盘的消息，以提高数据的写入速度。当消息被写入磁盘时，操作系统会将其缓存在内存中，并在需要时进行读取，避免了频繁的磁盘。）功能，将数据直接从磁盘读取到内存中，或者从内存中直接写入磁盘，避免了数据的多次复制，提高了数据传输的效率。会创建一个新的日志段，并将新的消息写入其中。使用内存来作为消息的缓存，通过将消息缓存在内存中，可以实现低延迟的读写操作。较小的日志段大小可以提高消息的写入速度，但会增加磁盘空间的使用。当一个日志段写满后，
Kafka(四) Kafka的磁盘存储：日志索引、页缓存、零拷贝
qq_42766738的博客
09-17 640
Kafka的磁盘存储方式和性能优化手段
kafka 笔记七 kafka磁盘存储
文报的博客
08-26 1295
1 零拷贝 kafka高性能，是多方面协同的结果，包括宏观架构、分布式partition存储、ISR数据同步、以及“无所不用其极”的高效利用磁盘/操作系统特性。 零拷贝并不是不需要拷贝，而是减少不必要的拷贝次数。通常是说在IO读写过程中。 传统IO 比如：读取文件，socket发送 传统方式实现：先读取、再发送，实际经过1~4四次copy。 1、第一次：将磁盘文件，读取到操作系统内核缓冲区； 2、第二次：将内核缓冲区的数据，copy到application应用程序的buffer； 3、
kafka基础知识总结
04-19
kafka的概念和一些基础的机制，如基础概念，分组策略，数据的完全生产，负载均衡等
Kafka基础学习总结
06-25
Kafka基础学习总结，从小白学习，基础开始到精通
kafka基础学习ppt
03-14
kafka基础学习ppt（自己整理总结的一些基础知识）
Kafka 基础原理与优化.rar
最新发布
03-19
Kafka 基础原理与优化 26M 大文件，超详细kafka知识点总结以及实战讲解，值得收藏
kafka--summary:kafka学习总结，源码剖析
06-15
kafka-summarykafka学习总结，源码剖析目录一、基础篇开篇说明概念说明配置说明znode分类kafka协议分类Kafka线程日志存储格式kakfa架构设计二、流程篇1、kafka启动过程2、日志初始化和清理过程3、选举controller过程...
kafka入门，高效读写数据，页缓存+零拷贝技术（十七）
weixin_43205308的博客
07-03 934
1)kafka本身是分布式集群，可以采用集群技术，并行度高2）读写数据采用稀疏索引，可以快熟定位要消费的数据3）顺序写磁盘kafka的producer生产数据，要写入到log文件中，写的过程一直追加到文件的末端，为顺序写，官网有数据表明，同样的磁盘，顺序写能到600M/s，而随机写只有100k/s.这与磁盘的机械结构有关，顺序写之所以块，是因为其能省区了大量磁头寻址的时间。
Kafka高性能之页缓存（page cache）使用
LINBE_blazers的博客
01-10 4250
页缓存是操作系统实现的一种主要的磁盘缓存，以此用来减少对磁盘I/O的操作。具体来说，就是把磁盘中的数据缓存到内存中，把对磁盘的访问变为对内存的访问。为了弥补性能上的差异 ，现代操作系统越来越多地将内存作为磁盘缓存，甚至会将所有可用的内存用途磁盘缓存，这样当内存回收时也几乎没有性能损失，所有对于磁盘的读写也将经由统一的缓存。 当一个进程准备读取磁盘上的文件内容时，操作系统会先查看待读取的数据所在的页（page）是否在页缓存（page cache）中，如果存在（命中）则直接返回数据，从而避免了对物理磁盘I/O
kafka简单理解
xiaoxin1024的博客
01-09 1010
1.Kafka是什么： 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 KAFKA + STORM +REDIS  Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。  Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该...
kafka和mysql内存机制_Kafka 如何优化内存缓冲机制造成的频繁 GC 问题？
weixin_28748867的博客
01-19 185
目录1、Kafka的客户端缓冲机制2、内存缓冲造成的频繁GC问题3、Kafka设计者实现的缓冲池机制4、总结一下“这篇文章，给大家聊一个硬核的技术知识，我们通过Kafka内核源码中的一些设计思想，来看你设计Kafka架构的技术大牛，是怎么优化JVM的GC问题的？1、Kafka的客户端缓冲机制首先，先得给大家明确一个事情，那就是在客户端发送消息给kafka服务器的时候，一定是有一个内存缓冲机制的。也...
kafka Consumer分析与速度特性
weixin_43704834的博客
08-23 1245
kafka Consumer分析，速度分析，消息丢失处理
SpringBoot学习：kafka批量并发消费配置（consumer+producer）
热门推荐
大小鱼鱼鱼鱼鱼
03-08 4万+
springboot使用的是2.0.0版本，spring-kafka使用的是2.1.4版本，配置的时候遇到了一些问题，在此总结一下： 1. session-timeout连接超时时间，之前 配置的是3000(ms)，一直报异常，堆栈信息提示 连接超时时间不能大于“某时间”，这里一直没弄懂“某时间”是指哪个时间。 ps:忘记“ ”里的时间是什么了，可能是我英语太差的原因。 2. 是否开启自动提交...
【Kafka从成神到升仙系列 四】你真的了解 Kafka 的缓存池机制嘛
爱敲代码的小黄
11-20 2215
本章我们讲述了Kafka生产端为了避免频繁的GC，创建了缓存池的机制当生产端申请的内存为16KB时，从缓存池中取缓存使用，非16KB则取不可复用的ByteBuffer使用我们在生产中要尽量避免不可复用的ByteBuffer的产生，根据当前的业务去调整batch.size的大小，否则容易造成频繁的GC，影响我们的线上业务。下一章我们将会更新Kafka 生产端的网络 I/O 模型喜欢kafka的可以点个关注吆，后续会继续更新其源码文章。
Kafka存储机制解析：如何确保数据不丢失？
Lion_Long的博客
12-02 982
一、Kafka 存储选择。 二、Kafka 存储方案剖析。 三、Kafka 存储架构设计。 四、Kafka 日志系统架构设计：Kafka日志目录布局、Kafka磁盘数据存储。 五、Kafka 可靠性：Producer的可靠性保证、kafka 配置为 CP(Consistency & Partition tolerance)系统、kafka 配置为 AP(Availability & Partition tolerance)系统、Broker 的可靠性保证、Consumer 的可靠性策略。
KAFKA
qq_25043977的博客
10-23 1146
kafka简介
kafka生产者的坑
07-29
\[1\]在使用生产者API时，我们需要熟悉kafka的基础概念，并且了解一些可能会用到的术语。\[2\]另外，一个常见的问题是幂等生产者。幂等生产者是kafka事务的必要条件，但不是充分条件。也就是说，开启幂等生产者不...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值