Kafka
小刘同学-很乖
这个作者很懒,什么都没留下…
展开
-
Kafka相关面试题及答案
Kafka中的ISR、AR又代表什么ISR:与leader保持同步的follower集合AR:分区的所有副本Kafka中的HW、LEO等分别代表什么?LEO:没个副本的最后条消息的offsetHW:一个分区中所有副本最小的offsetKafka中是怎么体现消息顺序性的?每个分区内,每条消息都有一个offset,故只能保证分区内有序。Kafka中的分区器、序列化器、拦截器是否了解?它...原创 2020-06-23 09:19:43 · 1932 阅读 · 0 评论 -
Kafka API详解
Producer API消息发送流程Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main线程和Sender线程,以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。相关参...原创 2020-06-22 08:37:49 · 2516 阅读 · 3 评论 -
Kafka超详细消费者详解
消费方式consumer采用pull(拉)模式从broker中读取数据。push(推)模式很难适应消费速率不同的消费者,因为消息发送速率是由broker决定的。它的目标是尽可能以最快速度传递消息,但是这样很容易造成consumer来不及处理消息,典型的表现就是拒绝服务以及网络拥塞。而pull模式则可以根据consumer的消费能力以适当的速率消费消息。pull模式不足之处是,如果kafka没...原创 2020-06-19 10:11:24 · 1008 阅读 · 0 评论 -
Kafka超详细生产者详解
分区策略分区的原因方便在集群中扩展,每个Partition可以通过调整以适应它所在的机器,而一个topic又可以有多个Partition组成,因此整个集群就可以适应任意大小的数据了;可以提高并发,因为可以以Partition为单位读写了。分区的原则我们需要将producer发送的数据封装成一个ProducerRecord对象。指明 partition 的情况下,直接将指明的值直...原创 2020-06-18 08:43:57 · 936 阅读 · 0 评论 -
Kafka架构详细深入
Kafka工作流程及文件存储机制Kafka中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。topic是逻辑上的概念,而partition是物理上的概念,每个partition对应于一个log文件,该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端,且每条数据都有自己的offset。消费者组中的每个...原创 2020-06-17 08:24:50 · 171 阅读 · 0 评论 -
Kafka快速详细入门
安装部署集群规划hadoop102hadoop103hadoop104zkzkzkkafkakafkakafkajar包下载http://kafka.apache.org/downloads.html集群部署解压安装包[liujh@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz...原创 2020-06-16 08:36:53 · 290 阅读 · 0 评论 -
Kafka详细概述
Kafka定义Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。传统消息队列的应用场景消息队列的两种模式点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)消息生产者生产消息发送到Queue中,然后消息消费者从Queue中取出并且消费消息。消息被消费以后,queue中不再有存储,所以消息消费者不可能消费到已经被消费的消息。Queue支持存...原创 2020-06-15 13:58:26 · 212 阅读 · 0 评论