【Java-Kafka】学习总结

本文详细介绍了Apache Kafka,包括Kafka的概念、基础架构、工作流程、文件存储机制、生产者与消费者的策略、Kafka事务、Zookeeper的作用,以及Kafka的API使用,如Producer API和Consumer API。文中还讨论了Kafka的高效读写、offset管理和数据一致性保障,展示了Kafka在数据处理领域的关键角色和操作细节。
摘要由CSDN通过智能技术生成

一、Kafka概念

1. 概念

  • 1 定义
    Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。
  • 总结:
    是一个分布式消息队列,流式计算中,一般用来缓存数据,具有统一、高吞吐、低等待的特性。
  • 具体:
    在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。
    1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。
    2)Kafka最初是由LinkedIn公司开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。
    3)Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)称为broker。
    4)无论是kafka集群,还是consumer都依赖于zookeeper集群保存一些meta信息,来保证系统可用性。

2. Kafka架构

1-基础架构

1)Producer :消息生产者,就是向kafka broker发消息的客户端;
2)Consumer :消息消费者,向kafka broker取消息的客户端;
3)Consumer Group (CG):消费者组,由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费;消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者
4)Broker :一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。
5)Topic :可以理解为一个队列,生产者和消费者面向的都是一个topic
6)Partition:为了实现扩展性,一个非常大的topic可以分布到多个broker(即服务器)上,一个topic可以分为多个partition,每个partition是一个有序的队列;
7)Replica:副本,为保证集群中的某个节点发生故障时,该节点上的partition数据不丢失,且kafka仍然能够继续工作,kafka提供了副本机制,一个topic的每个分区都有若干个副本,一个leader和若干个follower。
8)leader:每个分区多个副本的“主”,生产者发送数据的对象,以及消费者消费数据的对象都是leader。
9)follower:每个分区多个副本中的“从”,实时从leader中同步数据,保持和leader数据的同步。leader发生故障时,某个follower会成为新的follower。
在这里插入图片描述

2-工作流程及文件存储机制
1 工作流程

– Kafka中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。

tips:Kafka只能保证区内有序,而不能保证全局有序
在这里插入图片描述
官网图:

2 文件存储机制 -日志结构

– topic是逻辑上的概念,而partition是物理上的概念,每个partition对应于一个log文件,该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端,且每条数据都有自己的offset。消费者组中的每个消费者,都会实时记录自己消费到了哪个offset,以便出错恢复时,从上次的位置继续消费。
在这里插入图片描述
– 由于生产者生产的消息会不断追加到log文件末尾,为防止log文件过大导致数据定位效率低下,Kafka采取了分片和索引机制,将每个partition分为多个segment。每个segment对应两个文件——“.index”文件和“.log”文件。这些文件位于一个文件夹下,该文件夹的命名规则为:topic名称+分区序号。例如,first这个topic有三个分区,则其对应的文件夹为first-0,first-1,first-2。

00000000000000000000.index
00000000000000000000.log
00000000000000170410.index
00000000000000170410.log
00000000000000239430.index
00000000000000239430.log

index和log文件以当前segment的第一条消息的offset命名。下图为index文件和log文件的结构示意图:
“.index”文件存储大量的索引信息,“.log”文件存储大量的数据,索引文件中的元数据指向对应数据文件中message的物理偏移地址。
tips:索引信息还包含对应数据的大小、seed方法
在这里插入图片描述
补充:
日志中包含多个日志段,而每个日志段又包含:消息日志文件、位移索引文件、时间戳索引文件、已终止的事务索引文件。
在这里插入图片描述

3-生产者
1> 分区策略
  • 1)分区的原因
    (1)方便在集群中扩展,每个Partition可以通过调整以适应它所在的机器,而一个topic又可以有多个Partition组成,因此整个集群就可以适应任意大小的数据了;—注:即负载均衡
    (2)可以提高并发,因为可以以Partition为单位读写了。
  • 2)分区的原则
    我们需要将producer发送的数据封装成一个ProducerRecord对象
    (1)指明partition 的情况下,直接将指明的值直接作为partiton 值;
    (2)没有指明partition 值但有key 的情况下,将key 的hash 值与topic 的partition 数进行取余得到partition 值;
    (3)既没有partition 值又没有key 值的情况下,第一次调用时随机生成一个整数(后面每次调用在这个整数上自增),将这个值与topic 可用的partition 总数取余得到partition 值,也就是常说的round-robin 算法
    在这里插入图片描述
2> 数据可靠性保证—重复、一致
  • 为保证producer发送的数据,能可靠的发送到指定的topic,topic的每个partition收到producer发送的数据后,都需要向producer发送ack(acknowledgement确认收到),如果producer收到ack,就会进行下一轮的发送,否则重新发送数据。
    在这里插入图片描述
  • 1)副本数据同步策略
    Kafka选择了第二种方案,原因如下:
    1.同样为了容忍n台节点的故障,第一种方案需要2n+1个副本,而第二种方案只需要n+1个副本,而Kafka的每个分区都有大量的数据,第一种方案会造成大量数据的冗余。
    2.虽然第二种方案的网络延迟会比较高,但网络延迟对Kafka的影响较小。
    在这里插入图片描述
  • 2)ISR
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值