Kafka

最新推荐文章于 2024-05-12 14:08:32 发布
最新推荐文章于 2024-05-12 14:08:32 发布
阅读量1.5k 收藏 1
点赞数 3
文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37559973/article/details/134280699
版权

目录

1.Kafka简介

2.安装Kafka

2.1 安装JDK

2.2 下载、解压Kafka

2.3 启动Kafka

1. Zookeeper模式启动

2. KRaft模式启动

3.Kafka常用命令

3.1 Kafka 服务命令

1.启动kakfa

2.关闭kafka

3.2Topic 常用命令

1.查看Topic列表

2.新建Topic

3.查看Topic信息

4.修改Topic信息

5.删除Topic

3.3 生产者常用命令

1.发送信息

3.4 消费者常用命令

1.消费消息（从最新的地方开始）

2.消费消息（从头开始）

3.消费消息（指定相同组）

4.消费消息（指定不同组）

3.5消费者Group常用命令

1.指定消费者Group

2.查看消费者Group列表

3.查看消费者Group详情

4.删除消费者Group

4.Kafka集群

4.1 Zookeeper模式集群

1.搭建zookeeper集群

2.下载、解压kafka

3.修改kafka配置

4.配置其他集群服务器

5.启动kafka集群

6.关闭kafka集群

4.2 KRaft 模式集群

 1.下载、解压kafka

2.修改kafka配置

3.配置其他集群服务器

4.格式化存储目录

5.启动kafka集群

5.关闭kafka集群

1.Kafka简介

        Apache Kafka是一个开源分布式事件流平台，也是一种高吞吐量的分布式发布订阅消息系统，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序。

  • Broker（代理节点）：一台 Kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个broker 可以容纳多个 topic。
  • Topic（主题）：可以理解为一个队列，生产者和消费者面向的都是一个 topic。
  • Partition（分区）：个非常大的 topic 可以分布到多个 broker（即服务器）上，一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列。
  • Replica（副本）：一个 topic 的每个分区都有若干个副本，一个 Leader 和若干个Follower。
  • Leader （主副本）：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是 Leader。
  • Follower （从副本）：每个分区多个副本中的“从”，实时从 Leader 中同步数据，保持和Leader 数据的同步。Leader 发生故障时，某个 Follower 会成为新的 Leader。
  • Producer（生产者）：生产者负责将消息发送到 Kafka 集群。
  • Consumer（消费者）：消费者负责从 Kafka 集群中拉取并消费消息。
  • Consumer Group（消费者组）：每组由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。

2.安装Kafka

2.1 安装JDK

        Kafka需要jdk1.8+环境。

2.2 下载、解压Kafka

tar -zxf kafka_2.12-3.4.0.tgz -C ~/opt/

2.3 启动Kafka

        Kafka可以使用Zookeeper或KPaft两种模式启动。Kafka3.x开始提供KRaft（Kafka Raft，依赖Java 8+ ）模式，最新的3.6版本中，Kafka依然兼容zookeeper。

1. Zookeeper模式启动

        1.启动Zookeeper，可以使用Kafka自带的zookeeper或者使用已部署好的zookeeper环境都可以，如果使用已部署好的zookeeper，需要修改kafka的配置文件（config/server.properties），指定zookeeper地址（zookeeper.connect=localhost:2181,localhost:2182）。这里直接使用Kafka自带zookeeper启动。

./bin/zookeeper-server-start.sh  -daemon config/zookeeper.properties

        2.启动Kafka服务

./bin/kafka-server-start.sh -daemon config/server.properties

2. KRaft模式启动

        1.生成集群ID

KAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)"

        2.格式化存储目录，可以修改Kafka 运行日志(数据)存放的路径(config/kraft/server.properties),默认存放在/tmp下。

bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c config/kraft/server.properties

        3. 启动Kafka服务

./bin/kafka-server-start.sh -daemon config/kraft/server.properties

3.Kafka常用命令

3.1 Kafka 服务命令

1.启动kakfa

参考2.3一节。

2.关闭kafka

./bin/kafka-server-stop.sh

3.2Topic 常用命令

1.查看Topic列表

./bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

2.新建Topic

./bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test --partitions 1 --replication-factor 1

–partitions:分区数量,

–replication-factor:副本数量,不能大于broker数量

3.查看Topic信息

./bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic test

4.修改Topic信息

./bin/kafka-topics.sh --bootstrap-server localhost:9092 --alter --topic test --partitions 3

分区数只能增加，不能减少；副本数不支持修改。

5.删除Topic

./bin/kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic test

3.3 生产者常用命令

1.发送信息

./bin/kafka-console-producer.sh  --bootstrap-server localhost:9092 --topic test

3.4 消费者常用命令

1.消费消息（从最新的地方开始）

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test [--offset latest]

2.消费消息（从头开始）

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic test

3.消费消息（指定相同组）

 ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --group group_1

 ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --group group_1

4.消费消息（指定不同组）

 ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --group group_1

 ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --group group_2

3.5消费者Group常用命令

1.指定消费者Group

参考3.4节，第3、第4点。

2.查看消费者Group列表

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

3.查看消费者Group详情

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group group_1

4.删除消费者Group

./bin/kafka-consumer-groups.sh  --bootstrap-server localhost:9092 --group group_1 --delete

4.Kafka集群

4.1 Zookeeper模式集群

1.搭建zookeeper集群

        在搭建kafka集群前，需要先搭建、启动好zookeeper集群，具体操作可以参考：搭建环境03：安装zookeeper-CSDN博客

2.下载、解压kafka

 tar -zxf kafka_2.12-3.4.0.tgz -C ~/opt/

3.修改kafka配置

修改kafka 服务的配置文件（config/server.properties），修改broker.id和指定zookeeper集群地址：

#broker 的全局唯一编号，不能重复，只能是数字
broker.id=131

#不同服务器绑定的端口
listeners=PLAINTEXT://:9092,CONTROLLER://:9093


#broker 对外暴露的地址
advertised.listeners=PLAINTEXT://192.168.179.131:9092

#kafka 运行日志(数据)存放的路径，路径不需要提前创建，kafka 自动帮你创建，可以配置多个磁盘路径，路径与路径之间可以用"，"分隔
log.dirs=/home/weisx/opt/kafka_zookeeper/kafka-logs


#配置连接 Zookeeper 集群地址（在 zk 根目录下创建/kafka_zookeeper，方便管理）
zookeeper.connect=192.168.179.131:2181,192.168.179.132:2181,192.168.179.133:2181/kafka_zookeeper

4.配置其他集群服务器

        将上一步修改后的kafka同步到其他服务器上，然后修改broker.id和advertised.listeners。

scp -r kafka_zookeeper 192.168.179.132:~/opt/

scp -r kafka_zookeeper 192.168.179.133:~/opt/

修改192.168.179.132服务器上的broker.id=132，advertised.listeners=PLAINTEXT://192.168.179.132:9092

修改192.168.179.133服务器上的broker.id=133，advertised.listeners=PLAINTEXT://192.168.179.133:9092

5.启动kafka集群

        依次在集群服务器上启动kafka

./bin/kafka-server-start.sh -daemon config/server.properties

新建topic,验证集群：

6.关闭kafka集群

依次在集群服务器上关闭kafka

./bin/kafka-server-stop.sh

4.2 KRaft 模式集群

        KRaft模式不依赖外部框架（zookeeper）,只需要数个(奇数)Kafka节点就可以直接构成集群，集群中的Kafka节点既可以是Controller节点也可以是Broker节点，还可以是混合节点（同时担任Broker和Controller角色）。

 1.下载、解压kafka

 tar -zxf kafka_2.12-3.4.0.tgz -C ~/opt/

2.修改kafka配置

修改kafka 服务的配置文件（config/kraft/server.properties），修改node.id和配置节点角色等信息：

#混合节点
process.roles=broker, controller

#节点 ID，集群中每个节点id不能重复
node.id=131

#controller 服务协议别名
controller.listener.names=CONTROLLER

#broker 服务协议别名
inter.broker.listener.name=PLAINTEXT

#Controller 列表,其配置格式为id1@host1:port1,id2@host2:port2,id3@host3:port3...
controller.quorum.voters=131@192.168.179.131:9093,132@192.168.179.132:9093,133@192.168.179.133:9093

#不同服务器绑定的端口
listeners=PLAINTEXT://:9092,CONTROLLER://:9093


#broker 对外暴露的地址
advertised.listeners=PLAINTEXT://192.168.179.131:9092

#kafka 运行日志(数据)存放的路径，路径不需要提前创建，kafka 自动帮你创建，可以配置多个磁盘路径，路径与路径之间可以用"，"分隔
log.dirs=/home/weisx/opt/kafka_kraft/kafka-logs

3.配置其他集群服务器

        将上一步修改后的kafka同步到其他服务器上，然后修改node.id和advertised.listeners。

scp -r kafka_kraft 192.168.179.132:~/opt/

scp -r kafka_kraft 192.168.179.133:~/opt/

修改192.168.179.132服务器上的node.id=132，

advertised.listeners=PLAINTEXT://192.168.179.132:9092

修改192.168.179.133服务器上的node.id=133，

advertised.listeners=PLAINTEXT://192.168.179.133:9092

4.格式化存储目录

生成集群ID,使用该集群ID在各个服务器中格式化存储目录

#131服务器操作

bin/kafka-storage.sh random-uuid

bin/kafka-storage.sh format -t 3Ww7omfAQMm3bCb1HRI5_Q -c config/kraft/server.properties

#132服务器操作

bin/kafka-storage.sh format -t 3Ww7omfAQMm3bCb1HRI5_Q -c config/kraft/server.properties

#133服务器操作

bin/kafka-storage.sh format -t 3Ww7omfAQMm3bCb1HRI5_Q -c config/kraft/server.properties

5.启动kafka集群

        依次在集群服务器上启动kafka

./bin/kafka-server-start.sh -daemon config/kraft/server.properties

新建topic,验证集群：

5.关闭kafka集群

依次在集群服务器上关闭kafka

./bin/kafka-server-stop.sh

m0_37559973
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Maven项目整合Kafka
03-12
使用Maven整合Kafka 包括生产者，消费者 Kafka各种配置 //1.设置参数 Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "81.68.232.188:9092,81.68.232.188:9093,81...
SpringBoot集成kafka全面实战
热门推荐
Felix
03-28 19万+
本文是SpringBoot+Kafka的实战讲解，如果对kafka的架构原理还不了解的读者，建议先看一下《大白话kafka架构原理》、《秒懂kafka HA（高可用）》两篇文章。 一、生产者实践 普通生产者 带回调的生产者 自定义分区器 kafka事务提交 二、消费者实践 简单消费 指定topic、partition、offset消费 ...
kafka
Django的博客
01-29 2万+
Kafka是什么 Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。 Kafka是一个分布式消息队列：生产者、消费者的功能。它提供了类似于JMS的特...
Kafka 副本
02-11 3万+
follower发生故障后会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉（HW之前每个节点都有，故安全），从HW开始向leader进行同步。leader发生故障之后，会从ISR中选出一个新的leader，之后，为保证多个副本之间的数据一致性，其余的follower会先将各自的log文件高于HW的部分截掉，然后从新的leader同步数据。HW：指的是消费者能见到的最大的offset，ISR队列中最小的LEO。
kafka常用命令
zhangmuqiang的博客
07-05 8085
bin/kafka-consumer-groups.sh --bootstrap-server $nodes --group $groupname --reset-offsets --all-topics --to-earliest --execute # 重设消费者组位移(待验证)bin/kafka-console-consumer.sh --bootstrap-server $nodes --topic $topicName --from-beginning # 使用消费者。
Kafka集群部署
想你依然心痛的博客
06-15 5万+
好了，Kafka的集群部署我们就讲到这里了，这几篇主要针对大数据集群环境的搭建进行了讲解，包括创建虚拟机、Linux操作系统的安装与配置、安装JDK、ZooKeeper集群部署、Hadoop集群部署、Spark集群部署、HBase集群部署以及Kafka集群部署。通过这几篇的学习，希望读者熟悉大数据集群环境的搭建流程，并掌握ZooKeeper、Hadoop、Spark、HBase和Kafka集群的部署，为后续项目的开展奠定基础。启动Kafka集群时，需要确保ZooKeeper集群是正常启动的。
【Kafka】Windows下安装Kafka（图文记录详细步骤）
tttzzzqqq2018的博客
08-06 2万+
(一)、Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 (二)、Kafka 本质上是⼀个消息队列。与zeromq不同的是，Kafka是一个独立的框架而不是一个库。通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量 ：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
【微服务】springboot整合kafka-stream使用详解
congge
12-24 9407
kafka stream使用详解
kafka 汇总
小灰狼与大白兔的博客
02-16 5433
部署以及简单介绍 kafka的简单介绍以及docker-compose部署单主机Kafka集群 Java原生API kafka客户端操作之Admin API kafka 客户端之producer API发送消息以及简单源码分析 kafka 客户端之producer API发送消息（自定义负载均衡实现）与负载均衡调用源码分析 Kafka producer的事务和幂等性 kafka Java客户端之 consumer API 消费消息 kafka Java客户端之 consumer API 多线程消费消息 ka
【kafka】Kafka 可视化工具Kafka Eagle安装和使用
michaelwoshi的博客
04-08 2万+
一、背景 Kafka产线环境需要管理的Topic和Consumser越来越多，使用命令行工具进行管理会非常繁杂。因此，大数据平台上需要一套Kafka的管理监控系统，Kafka-Eagle。 Kafka Eagle是一个用于监控和管理kafka的开源组件，可以同时监控多个kafka集群。 Kafka Eagle提供了完善的监控页面和kafka常用操作的管理界面，便于管理员对kafka集群进行运维管理。 Kafka Eagle提供了KSQL操作的可视化界面，让你可以非常快速的查看kafka中的消息。 K
kafka安装部署
HYSliuliuliu的博客
12-26 6687
Apache Kafka是一个开源消息系统、一个开源分布式流平台，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目设计目标是为处理实时数据提供一个统一、高吞吐量、低等待的平台。Kafka是一个分布式消息队列：生产者、消费者的功能。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。
kafka-map工具
08-02
kafka-map是一个连接kafka的页面工具
kafka学习资料ppt
06-27
大数据，kafka
kafka-3.5.1
09-27
开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，...
ansible-kafka
05-22
humio.kafka Kafka安装程序可与Humio一起运行 要求 该角色必须有权访问Zookeeper的安装 角色变量 请参阅。 在无法访问互联网的机器上，可以将kafka_mirror变量设置为"master"以从主目录的文件目录中复制Kafka ...
在IDEA中如何用Kafka进行异步处理
m0_64021225的博客
05-08 447
如何利用Kafka或者rabbittemplate对项目进行异步处理
使用Java编写Kafka生产者和消费者示例
weixin_44976692的博客
05-09 484
本文介绍了如何使用Java编写Kafka的生产者和消费者示例。通过这些示例代码，我们可以轻松地在Java应用中集成Kafka，实现消息的生产和消费。Kafka具有高性能、高可靠性的特点，适用于各种场景的消息处理需求。
Kafka 环境搭建之伪分布式集群模式详细教程
zp8126的专栏
05-08 715
Kafka伪集群是一种在单个机器上模拟多节点Kafka集群的配置方式，主要用于开发和测试环境。在伪集群模式下，你可以配置多个Kafka broker实例，它们都连接到同一个Zookeeper实例或者集群，从而模仿分布式环境下的行为，而无需实际部署多台物理或虚拟机。
Kafka 环境配置与使用总结
最新发布
Felier's Blog
05-12 206
部署教程参考 # 官方教程: https://kafka.apache.org/quickstart。6-【不同服务器间的消费配置】2-主题topic操作。4-Console操作。5-Configs操作。
KAFKA
06-01
指的是在空闲分区链表中找到最小的能够满足要求的空闲分区进行分Kafka是一种分布式流处理平台，它具有高吞吐量、可扩展性和容错性配。具体实现过程如下： ```c #include <stdlib.h> #include <stdio.h> // 内存块头等特点。它主要由三部分组成：生产者、消费者和消息传递系统。生产结构 typedef struct mem_block { int size; // 内存块大小 int used; // 是否被占用，1者可以将消息发送到Kafka集群，消费者可以从Kafka集群中读取消息。Kafka的消息表示已被占用，0表示空闲 struct mem_block *next; // 指向下一个内存块的指针传递系统是基于发布/订阅模式实现的，可以方便地支持多个消费者对同 } mem_block_t; // 空闲分区链表头结构 typedef struct free_block { int size; // 空闲一个主题进行订阅。同时，Kafka还提供了一系列的API和工具，方便开发人员进行消息处理和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

m0_37559973

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值