05、Kafka 操作命令

于 2024-05-10 12:42:23 发布
阅读量1k 收藏 14
点赞数 13
分类专栏： Kafka学习笔记 文章标签： kafka linq 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_41907361/article/details/138661009
版权

05、Kafka 操作命令

1、主题命令

（1）创建主题

kafka-topics.sh --create --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --topic test1 --partitions 4 --replication-factor 3

–bootstrap-server：设置kafka执行节点

–topic：主题名称

–partitions：设置分区数，可以用于并发消费。

–replication-factor：设置副本因子，数量不能大于kafka节点数。

（2）查看主题

kafka-topics.sh --list --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092

image-20240509122153192

（3）在我们配置的文件夹下，

/usr/local/kafka_2.12-3.7.0/data

就可以看到topic对应的文件夹，其中 0,1,2,3是因为我们指定的partitions为4，创建了4个分区。

image-20240509160712720

在其他两台机器上，也同样有这三个文件夹，是因为我们的replication-factor 为3，表示会有三个副本，刚好对应三台机器。

（3）查询主题描述信息

kafka-topics.sh --describe --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --topic test1

image-20240509161337423

ReplicationFactor 表示副本数为3

Partition：表示当前的分区号

Replicas：表示副本存放的机器

Leader：表示三个副本中的leader

Isr：表示当前可用的机器id

（4）修改主题

分区数partitions可以修改，只能比原来的大。

replication-factor 一旦确定就不能修改了。

kafka-topics.sh --alter --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --topic test1 --partitions 6

image-20240509162034581

（5）删除主题

kafka-topics.sh --delete --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --topic test

image-20240509165305344

2、生产消息

给test1主题，发送消息

[root@localhost bin]# kafka-console-producer.sh --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --topic test1
>hello world

如果给一个不存在的主题，发送消息：

kafka-console-producer.sh --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --topic test2
>message1

image-20240509171549191

第一个消息发送后会有警告，后续发送消息没有警告，因为会自动创建topic，并且指定

partitions 和 replication-factor 都为1。

kafka-topics.sh --describe --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --topic test2

image-20240509171756305

但是，建议 topic 还是手动创建，应该 partitions 是可以修改的，但是 replication-factor

是不允许修改的。

3、消费消息

（1）消费最新数据

消费 test1 主题下的消息：

kafka-console-consumer.sh --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --topic test1

我们再启动一个生产者来发送消息：

kafka-console-producer.sh --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --topic test1
>hello world

image-20240509172354876

此时查看我们的消费者，就会打印接受到的消息：

image-20240509172430840

上面消费者，只能消费最新的数据，无法消费历史数据。

（2）消费历史数据

消费 test1 主题下的历史消息：

  • –from-beginning 表示从头开始消费：
kafka-console-consumer.sh --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --topic test1 --from-beginning

image-20240509173256632

  • –offset earliest --partition 1 表示从1号分区的头部开始消费：
kafka-console-consumer.sh --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --topic test1 --offset earliest --partition 1

image-20240509173418365

  • –offset latest --partition 1 表示从1号分区的尾部开始消费：
kafka-console-consumer.sh --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --topic test1 --offset latest --partition 1

image-20240509173610825

  • –offset 2 --partition 1 从1号分区的offset 为2的位置开始消费：
kafka-console-consumer.sh --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --topic test1 --offset 2 --partition 1

image-20240509173747666

4、消费者组

消费者组其实就是一个容器，可以容纳若干个消费者，每一个消费者必须被包含在一个消费者组里面。

（1）通过 --group 来指定消费者组。

kafka-console-consumer.sh --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --topic test1 --group my-group1

如果分组存在，则会将消费者添加到对应分组下，如果不存在，则会创建消费者组。

（2）查看已有的消费者组

kafka-consumer-groups.sh --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --list

image-20240509174505505

（3）删除消费者组

删除消费者组，必须要先保证消费者组下没有消费者：

kafka-consumer-groups.sh --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --delete --group my-group1

image-20240509174700845

（4）查看消费的位置

kafka-consumer-groups.sh --describe  --bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 --group my-group1

image-20240509175128763

PARTITION：表示分区号

CURRENT-OFFSET：当前消费到的offset下标

LOG-END-OFFSET：当前分区最新的offset下标

LAG：是偏移量，未消费的数量。

消费详情：

kafka消费者在消费数据的时候，都是分组消费的，不同的消费者组之间没有影响，都会去消费。在同一个组内消费，一条消息只能被一个消费者消费，同时一个分区数据只能被一个消费者消费，如果消费者数量大于分区数，则多余出来的消费者永远不会消费消息。如果分区数大于消费者，则会均匀的将分区分配给多个消费者。

image-20240510105221038

因此，kafka 的 topic 的 partition 个数代表是 kafka 的 topic 的并行度，同一时间最多可以有多个线程来消费 topic 的数据，所以如果要提高 kafka 的 topic 的消费能力，应该增大 partition 的个数。

5、手动平衡 leader：

# 使用的脚本是:kafka-leader-election.sh
# 必要的参数:
# --bootstrap-server:指定服务器列表
# --election-type:选举的类型，默认选择preferred即可
# 下面的三个参数三选一:
# --all-topic-partitions:平衡所有的主题、所有的分区
# --topic:平衡指定的主题，如果选择这个参数，则必须使用--partition指定分区
# --path-to-json-file:将需要平衡的主题、分区信息写入一个json文件，指定这个文件
#     json的格式: {"partitions": [{"topic": "test", "partition": 1}, {"topic": "test", "partition": 2}]}

[root@qianfeng01 data]$ kafka-leader-election.sh \
--bootstrap-server 192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092 \
--election-type preferred \
--all-topic-partitions

6、kafka 自带的压力测试工具

用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。

一般都是网络IO达到瓶颈。

kafka-consumer-perf-test.sh

kafka-producer-perf-test.sh

（1）生产者Producer压测

kafka-producer-perf-test.sh \
--topic test \
--record-size 100 \
--num-records 100000 \
--throughput -1 \
--producer-props bootstrap.servers=192.168.135.132:9092,192.168.135.133:9092,192.168.135.134:9092

record-size：一条信息有多大，单位字节

num-records：总共发送多少条信息

throughput：每秒多少条信息，设置成-1，表示不限流，可测生产者最大吞吐量

producer-props：发送端端消息配置

结果：

100000 records sent, 27495.188342 records/sec (2.62 MB/sec), 1461.75 ms avg latency, 2183.00 ms max latency, 1696 ms 50th, 2103 ms 95th, 2177 ms 99th, 2181 ms 99.9th.

解析：

一共写入10万条消息

吞吐量为2.62 MB/sec

每次写入的平均延迟为1461.75ms

最大延迟2183.00 ms

（2）消费者 Consumer 压力测试

consumer测试，如果这四个指标（IO，CPU，内存，网络）都不能改变，考虑增加分区数来提升性能

kafka-consumer-perf-test.sh \
--broker-list hadoop100:9092 \
--topic test \
--fetch-size 10000 \
--messages 10000000 \
--threads 1

broker-list：节点地址

topic：指定topic名称

fetch-size：指定每个fetch的数据大小

messages：总共要消费的消息个数

结果：

start.time, end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec, rebalance.time.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec

2020-06-27 13:17:57:490, 2020-06-27 13:18:11:751, 20.0272, 1.4043, 210000, 14725.4751, 1593235077858, -1593235063597, -0.0000, -0.0001

解释：

开始时间

结束时间

共消费数据：20.0272M

吞吐量：1.4043MB/s

共消费数据：210000条

平均每秒消费：14725.4751条

一直流浪~
关注
专栏目录
Kafka消费者命令：最常用的Kafka消费者命令及其用法详解
LmzActionscript的博客
09-19 1860
上述命令创建了一个Kafka消费者，它从名为"my_topic"的主题的第0个分区的偏移量42开始消费消息。通过指定分区和偏移量，您可以精确控制消费者的消费位置。上述命令创建了一个基于控制台的Kafka消费者，它连接到本地主机上的Kafka集群，并从名为"my_topic"的主题开始消费消息。上述命令创建了一个Kafka消费者，它从名为"my_topic"的主题的开始位置开始消费消息，并在5000毫秒后超时退出。上述命令创建了一个Kafka消费者，并从名为"my_topic"的主题的最新消息开始消费。
kafka操作命令详解
最新发布
上好佳的博客
06-21 574
principal: 代表用户或服务主体，例如 User:Alice。host: 允许或拒绝访问的主机地址，* 表示任意主机。operation: 允许或拒绝的操作类型，例如 READ, WRITE, ALL。permissionType: 权限类型，可以是 ALLOW 或 DENY。resourceType: 资源类型，例如 TOPIC 或 GROUP。name: 资源名称，例如 example-topic。patternType: 资源模式类型，LITERAL 表示字面模式。
Kafka常用消费者命令
weixin_40898246的博客
12-14 1万+
bin/kafka-console-consumer.sh --bootstrap-server pDataHadoop05:9092 --topic dtinsure_mongo3.kbc_mpls_prod.InsurePlan2021 --from-beginning bin/kafka-console-consumer.sh --bootstrap-server pDataHadoop05:9092 --topic dtinsure_mongo3.kbc_mpls_prod.MarketFamily
Kafka常用命令之kafka-console-consumer.sh
热门推荐
Ernest
04-06 12万+
  kafka-console-consumer.sh 脚本是一个简单的控制台 Consumer。此脚本的功能通过调用 ConsoleConsumer 实现。
linux开启kafka消费者命令,Linux kafka常用命令
weixin_42356340的博客
04-29 4899
1、启动kafkanohup ./kafka-server-start.sh ../config/server.properties &&>/dev/null 2>&1 &或者不指定日志输出位置和设置./kafka-server-start.sh ../config/server.properties &2、查看所有topic./kafka-to...
Kafka 生产者、消费者命令行操作
qq_55961709的博客
09-05 9398
Kafka 生产者、消费者命令行操作
Kafka基本操作命令
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-29 782
本实验任务主要完成基于ubuntu环境掌握Kafka基本操作命令的工作。通过完成本实验任务，要求学生熟练掌握Kafka基本操作命令，为后续实验的开展奠定Kafka平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握基于Kafka基本操作命令Ubuntu(三台节点:mater,slave1,slave2)、Zookeeper3.4.5、Kafka2.9.2Kafka is a distributed,partitioned,replicated commit lo
kafka的常用命令集锦
12-22
### Kafka的常用命令集锦 ...以上就是Kafka常用的命令集锦，这些命令涵盖了Kafka的基本管理和操作流程，对于快速上手Kafka具有重要的参考价值。在实际使用过程中，可以根据具体需求进一步探索更多高级特性。
kafka3.2常用命令
08-25
### Kafka 3.2 常用命令详解 #### 一、启动 ZooKeeper 服务 在启动 Kafka 之前，必须先启动 ZooKeeper 服务。ZooKeeper 为 Kafka 提供了集群协调服务。 ##### 操作步骤： 1. **打开命令行窗口**： - 打开 cmd ...
Spring-Kafka系列(1)——Kafka集群部署与常用命令
SpringBoy的博客
05-19 1343
一、Kafka集群部署 1.1 部署Zookeeper Kafka依赖zookeeper对Kafka服务器broker进行监控，所以需要先部署zookeeper，部署可见 https://blog.csdn.net/Numb_ZL/article/details/123168037?spm=1001.2014.3001.5502 1.2 Kafka基本参数介绍 参数 含义 broker.id=0 类似于zookeeper的myid log.dirs=/home/kafka/logs 指定
kafka命令大全
kongjunlongaa的博客
07-30 5239
整理kafka相关的常用命令 管理 ## 创建主题（4个分区，2个副本） bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test 查询 ## 查询集群描述 bin/kafka-topics.sh --describe --zoo...
kafka常用命令
zhangmuqiang的博客
07-05 9971
bin/kafka-consumer-groups.sh --bootstrap-server $nodes --group $groupname --reset-offsets --all-topics --to-earliest --execute # 重设消费者组位移(待验证)bin/kafka-console-consumer.sh --bootstrap-server $nodes --topic $topicName --from-beginning # 使用消费者。
kafka生产者与消费者相关命令行
learn_tech的博客
12-01 2万+
原文：https://blog.csdn.net/wf3612581/article/details/81842574 1、开启zookeeper集群 startzk.sh 2、开启kafka集群 start-kafka.sh 3、开启kafka可视化界面 kafka-manager start-kafka-manager.sh  4、生产者操作： kafka-conso...
javagui界面，含答案解析
青山绿轻舟
06-29 255
java基础 1.1java的8种基本数据类型装箱拆箱 1.2重写重载封装继承多态 1.3 Stack Queue 1.7 Concurrent包 1.8面向对象 1.9 String StringBuffer StringBuilder hashcode equ 1.10 java文件读取 1.11 Java反射 1.12 JDK NDK JRE JNI 1.13 static和final的区别 1.14 map, list, set区别 1.16 Session和COOKIE 1.19 10 NIO B
kafka用到的一些命令
wangdan113269的博客
08-27 226
1、启动zookeeper。cd到zookeeper的文件夹 ./bin/zkServer.sh start 2、启动kafka   cd到kafka的文件夹 ./bin/kafka-server-start.sh ./config/server.properties 3、查看是否都成功启动 source /etc/profile 先把java的运行环境加入环境变量 jps 4、...
kafka生产者和消费者命令行
weixin_43742510的博客
07-18 1062
【代码】kafka生产者和消费者命令行。
KafKa常用命令
qq_33529102的博客
05-18 193
topicName:test groupid:test_group 生产消息:bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 查看消费者消息:bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test 可选参数 --from-beginning 查看消费组有哪些：bin/kafka-consumer-groups.sh -new-
kafka相关shell命令
qq_38417913的博客
08-27 313
一、单机版kafka启动命令： 1.启动zookeeper: ./zookeeper-server-start.sh config/zookeeper.properties & 2.启动kafka： ./kafka-server-start.sh config/server.producer & 3.创建topic（一个分区，一个副本）： ./kafka-topi...
Kafka 基础命令操作
05-17
下面是 Kafka 的一些基础命令操作： 1. 启动 Kafka 服务：通过命令行进入 Kafka 安装目录，执行如下命令启动 Kafka 服务： ``` bin/kafka-server-start.sh config/server.properties ``` 2. 创建主题（Topic）：...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值