kafka安装和学习使用

最新推荐文章于 2024-08-01 23:15:09 发布
最新推荐文章于 2024-08-01 23:15:09 发布
阅读量651 收藏 2
点赞数 3
分类专栏： 大数据 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59737088/article/details/119077440
版权
本文详细介绍了Kafka的基本概念、安装步骤、基础架构、工作流程、文件存储机制、生产者与消费者的设计以及Kafka在Flume中的应用。重点讨论了Kafka的分区策略、数据可靠性保证和 Exactly Once 语义，适合初学者和进阶者学习。
摘要由CSDN通过智能技术生成

Kafka的学习和使用

本文是基于CentOS 7.3系统环境，进行Kafka的学习和使用

Kafka

0 Kafka基本概念

(1) 什么是Kafka

Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域>

(2) 消息队列

  1. 点对点模式的消息队列
    对一个消息而言，只会有一个消费者可以消费，消费者主动拉取消息，消息收到后，会将消息删除
  2. 基于发布/订阅模式的消息队列
    发布到topic的消息会被所有订阅者消；费，消费者消费完消息后不会删除
  3. 消息队列主动推送
    适用于消费者处理能力高，生产者生产消息较少的场景，整个系统的消息处理速度由消息队列的推送速度决定，多个消费者之间处理消息的能力不同，如果消息队列按照一定的速度推送消息，可能会造成某些消费者处理消息处理不过来，某些消费者处理速度很快一直处于空闲
  4. 消费者主动拉取
    适用于生产者生产消息的速度高于消费者，整个系统的消息处理速度由消费者的拉取速度决定，如果消息队列中消息较少，消费者会一直维护着一个长轮询去访问消息队列是否有消息

(3) Kafka的作用

  • 解耦和异步
    将强依赖的两个数据上下游系统，通过消息队列进行解耦，可以实现上下游的异步通信
  • 削峰
    缓解数据上下游两个系统的流速差

1 安装及常用命令

（1）安装

集群规划

hadoop11 hadoop12 hadoop13
zk zk zk
kafka kafka kafka

http://kafka.apache.org/downloads.html

在这里插入图片描述

安装步骤

0.准备工作

安装JDK,搭建zookeeper集群环境

1.解压kafka安装包

[root@hadoop11 modules]# tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/installs

2.修改解压后的文件名 （配置环境变量）

[root@hadoop11 installs]# mv kafka_2.11-0.11.0.0  kafka0.11

3.在/opt/installs/kafka0.11目录下创建logs文件夹

[root@hadoop11 installs]# cd kafka0.11
[root@hadoop11 kafka0.11]# mkdir logs

4.修改配置文件

[root@hadoop11 kafka0.11]# cd config
[root@hadoop11 config]# vi server.properties
# 每个kafka节点,broker.id必须不一样
broker.id=11
# 允许topic可以删除
delete.topic.enable=true
# kafka运行日志存放的路径
log.dirs=/opt/installs/kafka0.11/logs
# 配置连接Zookeeper集群地址
zookeeper.connect=hadoop11:2181,hadoop12:2181,hadoop13:2181

5.分发安装包

[root@hadoop11 installs]# scp -r /opt/kafka0.11 root@hadoop12:/opt/installs
[root@hadoop11 installs]# scp -r /opt/kafka0.11 root@hadoop13:/opt/installs

6.分别在hadoop12和hadoop13上修改配置文件/opt/installs/kafka/config/server.properties中的broker.id

broker.id=12
broker.id=13
注：broker.id不得重复

7.启动集群

在三台节点分别执行命令启动kafka
[root@hadoop11 kafka0.11]# bin/kafka-server-start.sh -daemon config/server.properties
[root@hadoop12 kafka0.11]# bin/kafka-server-start.sh -daemon config/server.properties 
[root@hadoop13 kafka0.11]# bin/kafka-server-start.sh -daemon config/server.properties

8.验证集群是否启动成功

[root@hadoop11 kafka]# jps
1571 Kafka
1622 Jps
1215 QuorumPeerMain

8.关闭集群

[root@hadoop11  kafka0.11]$ bin/kafka-server-stop.sh stop
[root@hadoop12  kafka0.11]$ bin/kafka-server-stop.sh stop
[root@hadoop13  kafka0.11]$ bin/kafka-server-stop.sh stop

kafka的伪分布式只需要解压启动 就好了 参考官方文档 超级简单

（2）常用命令

  1. 创建topic

    注意：一般在系统设计的时候，先把topic规划好，业务含义相同的数据，放在一个topic中。

    [root@hadoop11 kafka0.11]# bin/kafka-topics.sh  --zookeeper hadoop11:2181  --create   --topic topica --partitions 3 --replication-factor 2

## ---------------参数说明------------------ ##
--zookeeper 连接的zookeeper
--create 表示要创建一个topic
--topic 指定topic的名字(不同业务的数据，放在不同的topic中)
--partitions 指定分区数
--replication-factor 指定副本数

  2. 查看所有topic

    [root@hadoop11 kafka0.11]# bin/kafka-topics.sh  --zookeeper hadoop11:2181  --list

  3. 查看某个topic详情

    [root@hadoop11 kafka0.11]# bin/kafka-topics.sh  --zookeeper hadoop11:2181  --describe --topic topica

  4. 删除topic

    [root@hadoop11  kafka0.11]# bin/kafka-topics.sh  --zookeeper hadoop11:2181  --delete   --topic topica

  5. 接收消息

    [root@hadoop11  kafka0.11]# bin/kafka-console-consumer.sh --bootstrap-server hadoop11:9092 --topic topica

  6. 发送消息

    [root@hadoop11  kafka0.11]# bin/kafka-console-producer.sh --broker-list   hadoop11:9092 --topic topica

2 Kafka基础架构

  1. 为了方便横向扩展，并提高吞吐量，一个topic分为多个partition
  2. 配合分区的设计，提出消费者组的概念，组内每个消费者并行消费
  3. 为提高可用性，为每个partition增加若干副本，类似于NameNode HA
    在这里插入图片描述
  • Producer
    消息生产者，连接broker-list，就是向kafka broker发消息的客户端
  • Consumer
    消息消费者，连接bootstrp-server，向kafka broker取消息的客户端
  • Consumer Group （CG）
    消费者组，由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者
  • Cluster
    kafka集群，连接zookeeper，包含多个broker
  • Broker
    一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic
  • Topic
    可以理解为一个队列，生产者和消费者面向的都是一个topic
  • 分区为了并发，备份为了容灾
  • Partition
    为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列
  • Replica
    副本，为保证集群中的某个节点发生故障时， 该节点上的partition数据不丢失，且kafka仍然能够继续工作，kafka提供了副本机制，一个topic的每个分区都有若干个副本，一个leader和若干个follower
  • leader
    每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是leader
  • follower
    每个分区多个副本中的“从”，实时与leader保持数据的同步。leader发生故障时，某个follower会成为新的follower
  • zookeeper
    存储topic信息、分区信息、副本信息、ISR信息、消费者的偏移量（0.9版本之前，之后存在kafka集群中d __consumer_offset主题中，为了提高效率，减少与zookeeper的通信时间）

在一个kafka中创建一个topic，一个topic可以设置多个partition（理论无限），但分区副本个数不能超过broker的个数。

同一个consumer group中下不允许多个consumer消费同一个partition，当partition大于CG下consumer个数时，一个consumer可消费多个partition，小于时，则闲着。

字节面试题：

​ 如何让所有的消费者消费同一个partition？

3 Kafka工作流程

  1. kafka中消息是以topic进行分类的，生产者生成消息，消费者消费消息，都是面向topic的
  2. topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一组log文件，该log文件中存储的就是producer生产的数据。
  3. Producer生产的数据会被不断追加到该log文件末端，且每条数据都有自己的offset。
  4. 消费者组中的每个消费者，都会实时记录自己消费到了哪个offset，以便出错恢复时，从上次的位置继续消费。

在这里插入图片描述

4 Kafka文件存储机制

在这里插入图片描述

  1. 由于生产者生产的消息会不断追加到log文件末尾，为防止log文件过大导致数据定位效率低下，Kafka采取了分片和索引机制，将每个partition分为多个segment

  2. 每个segment对应两个文件——“.index”文件和“.log”文件。这些文件位于一个文件夹下，该文件夹的命名规则为：topic名称+分区序号。例如，first这个topic有三个分区，则其对应的文件夹为first-0,first-1,first-2

  3. index和log文件以当前segment的上一个文件的最后一条信息的offset+1或者当前的segmen的第一条信息的offset命名

    例如：什么意思呢？举例00000000000000000000.index 说明第一条消息offset是0，也就是最开始的位置；00000000000000170410.index 这里偏移量是170410，说明是170410这个位置开始。

  4. index文件存储大量的索引信息，log文件存储大量的数据，索引文件中的元数据指向对应数据文件中message的物理偏移地址

在这里插入图片描述

5 Kafka生产者

5.1 分区策略

(1) 分区的原因
  • 方便在集群中扩展
    每个Partition可以通过调整以适应它所在的机器，而一个topic又可以有多个Partition组成，因此整个集群就可以适应任意大小的数据了
  • 可以提高并发
    因为可以以Partition为单位读写了
(2) 分区的原则

我们需要将producer发送的数据封装成一个ProducerRecord对象。

  1. 指明 partition 的情况下，直接将指明的值直接作为 partiton 值
  2. 没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition 数进行取余得到 partition 值
  3. 既没有 partition 值又没有 key 值的情况下，第一次调用时随机生成一个整数（后面每次调用在这个整数上自增），将这个值与 topic 可用的 partition 总数取余得到 partition 值，也就是常说的 round-robin 算法
  4. 自定义分区策略。
① 自定义类 implements Partitioner
② props.put("partitioner.class", "自定义类");

5.2 数据可靠性保证

为保证producer发送的数据，能可靠的发送到指定的topic，topic的每个partition收到producer发送的数据后，都需要向producer发送ack（acknowledgement确认收到），如果producer收到ack，就会进行下一轮的发送，否则重新发送数据。

在这里插入图片描述

(1) 副本数据同步策略
策略 优点 缺点
半数以上完成同步，就发送ack 延迟低 选举新的leader时，容忍n台节点的故障，需要2n+1个副本
全部完成同步，就发送ack 选举新的leader时，容忍n台节点的故障，需要n+1个副本 延迟高

Kafka选择了第二种方案，原因如下：

  1. 同样为了容忍n台节点的故障，第一种方案需要2n+1个副本，而第二种方案只需要n+1个副本，而Kafka的每个分区都有大量的数据，第一种方案会造成大量数据的冗余。
  2. 虽然第二种方案的网络延迟会比较高，但网络延迟对Kafka的影响较小。
(2) ISR
最低0.47元/天 解锁文章
郎er
关注
专栏目录
kafka安装
JerryHui的博客
08-18 240
准备安装包 从官网下载kafka安装包，本次安装下载的kafka的版本是0.9.0.1，对应的scala版本是2.11.0。将安装包解压到/usr/local/kafka/目录下。使用配置好的 Zookeeper，并把消息日志保存在 /tmp/kafka-logs 目录下。 tar -zxf kafka_2.10-0.9.0.1.tgz -C /usr/local/kafka 创建并验证主题 [root@192 bin]# ./kafka-topics.sh --create --zookeeper lo
大数据框架之Kafka
weixin_45034355的博客
12-10 286
1.kafka是什么 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者的流处理平台，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 主要应用场景是：日志收集系统和消息系统。 2.基本架构图 Fr...
Kafka安装部署+go整合
最新发布
qq_45371023的博客
08-01 1153
Kafka安装部署+go整合
大数据必学框架-Flume
weixin_46429290的博客
08-04 705
大数据必学框架-Flume Flume简介 Flume定义： Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 **官网地址：**https://flume.apache.org Flume的基础架构 介绍一下Flume组件 Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 Agent 主要有 3 个部分组成，Source、Channel、Sink。 Source Source
自学Sqoop
weixin_44885148的博客
10-22 145
Sqoop (作者：zj) 版本：V1.1 第1章 Sqoop简介 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop项目开始于2009年...
Kafka-工作流程分析
weixin_30825581的博客
06-10 122
第 3 章 Kafka 工作流程分析 Kafka核心组成 3.1 Kafka 生产过程分析 3.1.1 写入方式 　　producer 采用推（push）模式将消息发布到 broker，每条消息都被追加（append）到分 区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障 kafka 吞吐率）。 3.1.2 分区（Partition...
大数据之Kafka框架与常用命令操作
weixin_42796403的博客
12-04 385
大数据之Kafka框架 目录大数据之Kafka框架第1章 Kafka概述1.1 消息队列（Message Queue）1.2 定义1.3 Kafka基础架构第2章 Kafka快速入门2.1 Kafka命令行操作第3章 Kafka架构深入3.1 Kafka工作流程及文件存储机制3.2 Kafka生产者3.2.1 分区策略3.2.2 数据可靠性保证3.2.3 follower与leader故障之后的解决方案3.2.4 Exactly Once语义 第1章 Kafka概述 1.1 消息队列（Message Que
大数据框架Kafka工具
大数据零基础学习入门教程
07-06 240
Kafka工具包装在org.apache.kafka.tools.*下。 工具分为系统工具和复制工具。 系统工具 系统工具可以使用run class脚本从命令行运行。 语法如下 – bin/kafka-run-class.sh package.class -- options 下面提到了一些系统工具 – Kafka迁移工具– 此工具用于将代理从一个版本迁移到另一个版本。 Mir...
kafka的安装及使用
热门推荐
Gscsd的博客
04-26 2万+
先来说下kafka是个什么东西，它是一个消息中间件框架，只负责发布--订阅（帮忙存东西的）接着给大家看一张大致的kafka流程图              首先打个比方，kafka好比就是中央电视台，而中央电视台下面有很多节目，生产者就是制作节目的团队，而消费者就是我们观看这个节目的人，一开始在zookeeper创建一个节目，假设就叫cctv1，有了这个节目名后，我们就得请一个团队来填充这个节目，...
大数据架构:Kafka
cp_panda_5的博客
03-06 4116
 Kafka 是一个高吞吐、分布式、基于发布订阅的消息系统，利用Kafka技术可在廉价PC Server上搭建起大规模消息系统。Kafka具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费KAFKA： 分布式的发布-订阅消息系统，主要用于处理活跃的数据 特点：高吞吐量： 每秒百万级别的生产消费----生产消费   持久性： 由完善的消息存储机制，确保数据...
KAFKA安装
weixin_43000215的博客
05-13 167
第2章 Kafka快速入门 2.1 安装部署 2.1.1 集群规划 hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka 2.1.2 jar包下载 http://kafka.apache.org/downloads 2.1.3 集群部署 1）解压安装包 [atguigu@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/ 2）修改解压后的文件名称 [atguigu@
kafka学习初步1：安装及简单测试
weixin_30539835的博客
10-22 122
下载了最新的版本0.8.0 Beta1 Release 下载地址：https://dist.apache.org/repos/dist/release/kafka/kafka-0.8.0-beta1-src.tgz 一、安装 # tar xzvf kafka-0.8.0-beta1-src.tgz # cd kafka-0.8.0-beta1-src # ./sbt updat...
Kafka安装配置与快速入门指南
"本教程详细介绍了Kafka的安装配置、快速启动以及基本操作，包括下载、启动服务、创建和管理主题、发送与消费消息、设置多broker集群以及使用Kafka Connect进行数据导入导出。" Kafka是一款分布式流处理平台，广泛...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值