kafka原理一之初识kafka

最新推荐文章于 2023-06-11 07:30:00 发布
最新推荐文章于 2023-06-11 07:30:00 发布
阅读量336 收藏 2
点赞数
分类专栏： 消息队列 文章标签： kafka 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangyanping20108/article/details/110481935
版权

目录

什么是 Kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

消息收发模式

  • P2P 模式：发送到队列中的消息被一个而且仅仅一个消费者所接收，即使有多个消费者在同一个队列中监听同一消息。

在这里插入图片描述

  • Pub/Sub 模式 ：Pub/Sub 模式通常用于一对多或多对多的消息群发场景，即拥有一个或多个消息发送者和多个消息接收者的场景。
    在这里插入图片描述

  • P2P 模式和 Pub/Sub 模式的区别
    发送消息时，Pub/Sub 模式下，发送者需要按照和接收者约定好的 Topic 发送消息；而 P2P 模式下，发送者无需事先约定传输消息的 Topic，发送者可以直接按照规范发送消息到目标的接收者。
    接收消息时，Pub/Sub 模式下，接收者需要按照和发送者约定好的 Topic 提前订阅才能收到消息；而 P2P 模式下接收者无需事先订阅即可接收消息，从而简化接收者的程序逻辑，节省订阅成本。

Kafka架构

kafka 是一个高性能的分布式发布/订阅消息系统。一个典型的Kafka集群中包含若干Producer，若干broker（一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。

  • Producer端直接连接broker.list列表,从列表中返回TopicMetadataResponse,该Metadata包含Topic下每个partition leader，Producer和partition leader建立socket连接并发送消息.

  • Broker端使用zookeeper用来注册broker信息,以及监控partition leader存活性.

  • Consumer端使用zookeeper来注册consumer信息,其中包括consumer消费的partition列表等,同时也用来发现broker列表,并和partition leader建立socket连接,并获取消息。
    在这里插入图片描述

  • Producer
    生产者，负责发布消息到Kafka的服务器。由于kakfa是一个Pub/Sub的消息系统，所以Producer也称为发布者。

  • Broker
    安装了Kafka的服务器，被称为broker，也叫kafka server。

  • Consumer
    消息消费者，向Kafka broker读取消息的客户端。由于kakfa是一个Pub/Sub的消息系统，所以Consumer也称为订阅者

  • Topic
    每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）

  • Partition
    Partition分区是物理上的概念，每个Topic包含一个或多个Partition

  • Consumer Group
    每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）

  • Push
    推送（PUSH）技术是一种建立在客户服务器上的机制，就是由服务器主动将信息发往客户端的技术。PUSH技术的优势在于信息的主动性和及时性。

  • Pull
    拉（PULL）技术则是由客户机主动请求信息。

搭建Kafka伪集群

我在本地机器上搭建一个kafka集群

  • 下载
    Kafka官方下载地址：http://kafka.apache.org/
    这次我下载的是kafka_2.13-2.6.0.tgz
  • kafka 目录
    创建3个服务节点node1,node2,node3 用于存放kafka
    mkdir /kafka/node1
    mkdir /kafka/node2
    mkdir /kafka/node3
  • kafka的log.dirs 目录
    创建3个日志目录分别存放3个节点的消息数据
    mkdir /kafka/log/node1
    mkdir /kafka/log/node2
    mkdir /kafka/log/node3
  • Kafka的server.properties配置
#进入应用目录
cd /kafka/node1/config
#修改配置文件
vi config/server.properties

节点配置信息

节点broker.idlog.dirslisteners
node1broker.id=0log.dirs=/kafka/log/node1listeners=PLAINTEXT://:9092
node2broker.id=1log.dirs=/kafka/log/node2listeners=PLAINTEXT://:9093
node3broker.id=2log.dirs=/kafka/log/node3listeners=PLAINTEXT://:9094

启动Broker集群

  • 启动zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties
  • 启动kafka
    分别在node1 ,node2 ,node3 中执行以下脚本
/bin/kafka-server-start.sh config/server.properties &
  • 创建topic
ZBMAC-2f32839f6:node1 yangyanping$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test1
Created topic test1.
术语描述
partions主题分区数。kafka通过分区策略，将不同的分区分配在一个集群中的broker上，一般会分散在不同的broker上，当只有一个broker时，所有的分区就只分配到该Broker上。消息会通过负载均衡发布到不同的分区上，消费者会监测偏移量来获取哪个分区有新数据，从而从该分区上拉取消息数据。分区数越多，在一定程度上会提升消息处理的吞吐量，因为kafka是基于文件进行读写，因此也需要打开更多的文件句柄，也会增加一定的性能开销。如果分区过多，那么日志分段也会很多，写的时候由于是批量写，其实就会变成随机写了，随机 I/O 这个时候对性能影响很大。所以一般来说 Kafka 不能有太多的 Partition。
replication-factor用来设置主题的副本数。每个主题可以有多个副本，副本位于集群中不同的broker上，也就是说副本的数量不能超过broker的数量，否则创建主题时会失败。

查看topic信息

  • 我们可以通过命令列出指定Broker上的topic
ZBMAC-2f32839f6:node1 yangyanping$ bin/kafka-topics.sh --list --bootstrap-server 127.0.0.1:9092
__consumer_offsets
test1
  • 查看主题分区信息
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test1
    Topic: test1	PartitionCount: 3	ReplicationFactor: 3	Configs: 
	Topic: test1	Partition: 0	Leader: 1	Replicas: 1,2,0	Isr: 1,2,0
	Topic: test1	Partition: 1	Leader: 2	Replicas: 2,0,1	Isr: 2,0,1
	Topic: test1	Partition: 2	Leader: 0	Replicas: 0,1,2	Isr: 0,1,2

通过上边的描述信息，可以得到如下图分配方式。主题test1分区信息如图，绿色为Leader 分区，红色为 副本分区
在这里插入图片描述

查看元数据信息

  • 使用./zkCli.sh 连接zookeeper
****-2f32839f6:zookeeper yangyanping$ ./bin/zkCli.sh 
/usr/bin/java
Connecting to localhost:2181
  • 查看kakaf 目录结构
[zk: localhost:2181(CONNECTED) 0] ls /
[admin, brokers, cluster, config, consumers, controller, controller_epoch, isr_change_notification, latest_producer_id_block, log_dir_event_notification, zookeeper]
[zk: localhost:2181(CONNECTED) 3] ls /brokers
[ids, seqid, topics]
[zk: localhost:2181(CONNECTED) 5] ls /brokers/ids
[0, 1, 2]
[zk: localhost:2181(CONNECTED) 6] get /brokers/ids/0
{"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://10.0.72.201:9092"],"jmx_port":-1,"port":9092,"host":"10.0.72.201","version":4,"timestamp":"1606962873700"}
  • 查看config目录信息
[zk: localhost:2181(CONNECTED) 11] ls /config
[brokers, changes, clients, topics, users]
[zk: localhost:2181(CONNECTED) 13] ls /config/topics
[test1]
  • 查看controller信息
[zk: localhost:2181(CONNECTED) 18] ls /controller
[]
[zk: localhost:2181(CONNECTED) 19] get /controller
{"version":1,"brokerid":0,"timestamp":"1606962873843"}
  • 查看分区信息
[zk: localhost:2181(CONNECTED) 21] ls /brokers
[ids, seqid, topics]
[zk: localhost:2181(CONNECTED) 22] ls /brokers/ids
[0, 1, 2]
[zk: localhost:2181(CONNECTED) 23] get /brokers/ids/0
{"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://10.0.72.201:9092"],"jmx_port":-1,"port":9092,"host":"10.0.72.201","version":4,"timestamp":"1606962873700"}
[zk: localhost:2181(CONNECTED) 24] ls /brolers/ids/0
Node does not exist: /brolers/ids/0
[zk: localhost:2181(CONNECTED) 25] ls /brokers/ids/0
[]
[zk: localhost:2181(CONNECTED) 26] ls /brokers/topics
[test1]
[zk: localhost:2181(CONNECTED) 27] ls /brokers/topics/test1
[partitions]
[zk: localhost:2181(CONNECTED) 28] ls /brokers/topics/test1/partitions
[0, 1, 2]
[zk: localhost:2181(CONNECTED) 29] ls /brokers/topics/test1/partitions/0
[state]
[zk: localhost:2181(CONNECTED) 30] ls /brokers/topics/test1/partitions/0/state
[]
[zk: localhost:2181(CONNECTED) 31] get  /brokers/topics/test1/partitions/0/state
{"controller_epoch":3,"leader":1,"version":1,"leader_epoch":0,"isr":[1,2,0]}

发送和消费消息

  • 消费消息
    通过 kafka-console-consumer.sh 脚本来订阅主题 test1
ZBMAC-2f32839f6:node1 yangyanping$ bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test1 --from-beginning
hello kafka
hello world
  • 这里我们向Broker(id=0)的Topic=test1发送消息
    通过使用 kafka-console-producer.sh 脚本 发送消息
ZBMAC-2f32839f6:node1 yangyanping$ bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test1
>hello kafka
>hello world

我们启动Consumer指定Consumer Group Id就可以作为一个消费组协同工，1个消息同时只会被一个Consumer消费到

ZBMAC-2f32839f6:node1 yangyanping$ bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test1 --from-beginning --group testgroup1
Hello kafka

ZBMAC-2f32839f6:node3 yangyanping$  bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test1 --from-beginning --group testgroup1
Hello world

Kafka在Zookeeper上的目录结构

  • kafka使用zookeeper来实现动态的集群扩展，不需要更改客户端（producer和consumer）的配置。broker会在zookeeper注册并保持相关的元数据（topic，partition信息等）更新。

  • Broker端使用zookeeper来注册broker信息,以及监测partition leader存活性.

  • Zookeer和Producer没有建立关系，只和Brokers、Consumers建立关系以实现负载均衡，即同一个ConsumerGroup中的Consumers可以实现负载均衡（因为Producer是瞬态的，可以发送后关闭，无需直接等待

  • 节点/brokers/ids 内容
    即/brokers/ids/[brokerId]）存储“活着”的broker信息。主要使用zookeeper的服务发现功能。

{
    "listener_security_protocol_map":{
        "PLAINTEXT":"PLAINTEXT"
    },
    "endpoints":[
        "PLAINTEXT://127.0.0.1:9092"
    ],
    "jmx_port":-1,
    "port":9092,
    "host":"127.0.0.1",
    "version":4,
    "timestamp":"1607584166755"
}
  • 节点/brokers/ids/1 内容
{
    "listener_security_protocol_map":{
        "PLAINTEXT":"PLAINTEXT"
    },
    "endpoints":[
        "PLAINTEXT://127.0.0.1:9093"
    ],
    "jmx_port":-1,
    "port":9093,
    "host":"127.0.0.1",
    "version":4,
    "timestamp":"1607584196139"
}
  • 节点/brokers/ids/2 内容
{
    "listener_security_protocol_map":{
        "PLAINTEXT":"PLAINTEXT"
    },
    "endpoints":[
        "PLAINTEXT://127.0.0.1:9094"
    ],
    "jmx_port":-1,
    "port":9094,
    "host":"127.0.0.1",
    "version":4,
    "timestamp":"1607584219795"
}
  • 节点/brokers/topic/test1(主题)/partitions/0/sate 内容
    topic注册信息（/brokers/topics/[topic]），存储该topic的所有partition的所有replica所在的broker id，第一个replica即为preferred replica，对一个给定的partition，它在同一个broker上最多只有一个replica,因此broker id可作为replica id。
{
    "controller_epoch":1,
    "leader":1,
    "version":1,
    "leader_epoch":0,
    "isr":[
        1,
        0,
        2
    ]
}
  • 节点/brokers/topic/test1(主题)/partitions/1/sate 内容
{
    "controller_epoch":1,
    "leader":2,
    "version":1,
    "leader_epoch":0,
    "isr":[
        2,
        1,
        0
    ]
}
  • 节点/brokers/topic/test1(主题)/partitions/2/sate 内容
{
    "controller_epoch":1,
    "leader":0,
    "version":1,
    "leader_epoch":0,
    "isr":[
        0,
        2,
        1
    ]
}
  • 节点/controller 内容(conrtoller leader信息)
    /controller -> int (broker id of the controller)存储当前controller的信息。 保存kafka集群的leader 信息，主要使用zookeeper 的leader 选举功能。
{
    "version":1,
    "brokerid":0,
    "timestamp":"1607653391978"
}
  • 节点controller_epoch
    /controller_epoch -> int (epoch)直接以整数形式存储controller epoch，而非像其它znode一样以JSON字符串形式存储。
  • admin节点
    该目录下znode只有在有相关操作时才会存在，操作结束时会将其删除

/admin/reassign_partitions用于将一些Partition分配到不同的broker集合上。对于每个待重新分配的Partition，Kafka会在该znode上存储其所有的Replica和相应的Broker id。该znode由管理进程创建并且一旦重新分配成功它将会被自动移除

yangyanping20108
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
（二）Kafka 多租户架构
流华追梦的专栏
04-10 987
接上一篇《（一）Kafka 多租户架构》，本篇第二节从 2.4 小节开始。
60-spring 消费kafka, 推送消费到kafka
09-02 802
【代码】60-spring 消费kafka, 推送消费到kafka。
分布式消息系统Kafka的详细介绍和应用场景
weixin_34292924的博客
05-31 332
扩展阅读 http://blog.csdn.net/derekjiang/article/details/9053863/   分布式发布订阅消息系统 Kafka 架构设计 - 目前见到的最好的Kafka中文文章   1、  概述     Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括...
Kafka及Kafka消费者的消费问题及线程问题
胡买提
06-06 5132
kafka消费与线程池遇到的问题分析
Kafka集群多用户访问权限分治和消息共享配置指导
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
04-24 2811
这明显在生产环境，这种认证方式时不符合实际业务场景的。allow.everyone.if.no.acl.found=true #false的话就只能超级用户才能访问资源，true的话其他也可以，如果用户读写一个 Topic，但是没有配置 ACL 权限，客户端会报认证失败错误。现场业务由于多厂商集成，共享数据需要，需对接当前kafka集群，为做到类似租户隔离的功能，需要开启kafka的权限控制和动态用户管理功能，实现不同厂商访问被授权的合法资源，消费者账号只能消费数据，生产者账号只能生产数据。
liangenhao#learning-in-kafka#25-主题与分区-初识KafkaAdminClient-基本使用1
07-25
提供了常用方法：创建主题：删除主题：列出所有可用的主题：查看主题的信息：查询配置信息：修改配置信息：增加分区：管理主题【创建主题】：创建一个分区数为4、副本因子
01、kafka的初认识.zip
11-06
本教程将带你初识Kafka，了解其基本概念、工作原理以及常见应用场景。 一、Kafka概述 Kafka是一种基于发布/订阅模式的消息队列，主要设计目标是提供低延迟、高并发的消息传输。它的核心理念是将数据流当作一种基础...
kafkatool_64bit.exe
12-19
《Kafka可视化工具——kafkatool_64bit.exe详解》 在现代大数据处理领域，Apache Kafka作为一款高吞吐、低...无论你是初识Kafka还是经验丰富的开发者，都应该尝试并掌握这款工具，以更好地驾驭这个强大的数据流平台。
实时处理.rar
06-11
第2章 初识实时流处理 第3章 分布式日志收集框架Flume 第4章 分布式发布订阅消息系统Kafka 第5章 实战环境搭建工欲善其事必先利其器 第6章 Spark Streaming入门 第7章 Spark Streaming核心概念与编程 第8章 Spark ...
尚硅谷大数据之flink教程1
08-08
Apache Flink 是一款开源的流...通过学习尚硅谷的大数据之Flink教程，开发者可以深入了解如何利用Flink进行流处理应用的开发，掌握其核心概念、API使用以及最佳实践，从而在大数据实时分析领域发挥出Flink的强大功能。
kafka基础知识
fan_bigdata的博客
06-28 1092
kafka 是最初由 linkedin 公司开发的，使用 scala 语言编写，kafka 是一个分布式，分区的，多副本的，多订阅者的日志系统（分布式 MQ 系统），可以用于搜索日志，监控日志，访问日志等。kafka 目前支持多种客户端的语言：java、python、c++、php 等apache kafka 是一个分布式发布-订阅消息系统和一个强大的队列，可以处理大量的数据，并使能够将消息从一个端点传递到另一个端点，kafka 适合离线和在线消息消费。kafka 消息保留在磁盘上，并在集群内复制以防止数据
Kafka数据同步到kafka的几种方案（转）
seapeak007的博客
03-11 5148
转自：https://blog.csdn.net/tmaczt/article/details/115274144 背景： 针对老系统重构涉及业务系统众多，全链路部署测试环境耗时较长，于是有了kafka中间层集群之间数据同步的想法。 方案： 1、Kafka自带的镜像工具kafka-mirror-maker.sh MirrorMaker是Kafka附带的一个用于在Kafka集群之间制作镜像数据的工具。该工具从源集群中消费并生产到目标群集。 step1:编写consumer-test.prope..
Kafka多租户（配额）管理
wjt199866的博客
07-10 5375
Kafka自0.9.0.0版本引入了配额管理(quota management)，旨在broker端对clients发送请求进行限流(throttling)。目前Kafka支持两大类配额管理： 网络带宽（network bandwidth）配额管理：定义带宽阈值来限制请求发送速率，阈值单位是字节/秒，即bytes/s。该功能是0.9.0.0版本引入的 CPU配额管理：定义CPU使用率阈值来限制请求发送速率，阈值以百分比的形式给出，如quota = 50表示50%的CPU使用率上限。该功能是0.11.0.
kafka 多消费者实现
热门推荐
u012447842的博客
12-05 1万+
kafka官网：http://kafka.apache.org/quickstart 目录 kafka简单介绍： 实现方式 1：kafka分区 2: 实现结果 3：kafka的consumer代码 4:kafka生产者 kafka简单介绍（网上找的）： 实现方式 必要条件： kafka配置： > b...
笔记：配置多个kafka生产者和消费者
最新发布
oki
06-11 4194
当然也可以只定义生产者或者只定义消费者，按需进行，以下示例是同时定义生产者和消费者。/*** 自定义kafka配置*//** 生产者 *//** 消费者 *//** 配置文件*/// @Primary 要指定一下，不然启动会因为存在多个KafkaProperties,而导致kafka的自动装配不懂要选哪个而报错@Primary@Bean@Primary@BeanTips：1）消费者。
Kafka生产者发送流程详解
qq_53578500的博客
08-16 2628
实现Partitioner接口，重写方法即可，返回对应的分区值。还需要再主程序关联我们自定义的分区（在Properties中声明），不然它会走默认的分区策略例如：我们想让含有“china”相关的字符串，存到主题为china的分区里。我们可以通过去判断value里是否包含china，如果包含就指明对应的分区号即可。.........
快速了解kafka
weixin_51008024的博客
04-20 2157
kafka的简单案例，通俗易通，有用的知识又增加了
kafka的介绍
IT晓白
11-21 618
ApacheKafka®是一个分布式流媒体平台。这到底是什么意思呢？ 流媒体平台有三个关键功能： 发布和订阅记录流，类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 记录发生时处理流。 Kafka通常用于两大类应用： 构建可在系统或应用程序之间可靠获取数据的实时流数据管道 构建转换或响应数据流的实时流应用程序 要了解Kafka如何做这些事情，让我们深入探讨Kafka的能......
第一讲：Kafka要点入门
四书五经
04-01 6520
了解kafka是什么，有哪些特性
Apache Kafka技术详解与实战指南
第一章分布式消息系统Kafka初识，可能涵盖了Kafka的基本概念，如主题（Topic）、分区（Partition）、生产者（Producer）、消费者（Consumer）和复制（Replication），以及Kafka如何作为消息中间件在分布式系统中工作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值