kafka部署以及常用命令详细总结

最新推荐文章于 2024-08-01 23:15:09 发布
最新推荐文章于 2024-08-01 23:15:09 发布
阅读量561 收藏 1
点赞数 2
文章标签： kafka linq 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46153337/article/details/140385587
版权

1环境准备

1.1ip规划

ip: 192.168.1.200

1.2配置主机名

#设置主机名
hostnamectl set-hostname node1

1.3配置hosts

[root@node1 ~]# cat >> /etc/hosts << 'EOF'

192.168.1.200 node1
EOF

2部署

2.1安装包准备

将以下安装包从官网下载到本地

jdk-8u371-linux-x64.tar.gz

apache-zookeeper-3.7.1-bin.tar.gz

kafka_2.12-3.4.0.tgz

上述安装包已整理上传到我的资源，需要可自行下载

#将下载好的安装包上传到服务器
[root@node1 ~]# ll
总用量 252268
-rw-------. 1 root root      1257 3月  29 2023 anaconda-ks.cfg
-rw-r--r--  1 root root  12649765 7月  12 15:04 apache-zookeeper-3.7.1-bin.tar.gz
-rw-r--r--  1 root root 139219380 7月  12 15:10 jdk-8u371-linux-x64.tar.gz
-rw-r--r--  1 root root 106441367 7月  12 15:04 kafka_2.12-3.4.0.tgz

2.2安装jdk

#解压安装包
[root@node1 ~]# tar -xvf jdk-8u371-linux-x64.tar.gz -C /usr/local/

#配置环境变量
[root@node1 ~]# cat >> /etc/profile << 'EOF'

#Set for jdk
export JAVA_HOME=/usr/local/jdk1.8.0_371
export PATH=$PATH:$JAVA_HOME/bin
EOF

[root@node1 ~]# source /etc/profile
[root@node1 ~]# java -version
openjdk version "1.8.0_262"
OpenJDK Runtime Environment (build 1.8.0_262-b10)
OpenJDK 64-Bit Server VM (build 25.262-b10, mixed mode)

2.3部署zookeeper

[root@node1 ~]# tar -xf apache-zookeeper-3.7.1-bin.tar.gz -C /usr/local/
[root@node1 ~]# cd /usr/local/
[root@node1 local]# mv apache-zookeeper-3.7.1-bin/ zookeeper
[root@node1 local]# cd zookeeper/conf/

[root@node1 conf]# cp zoo_sample.cfg zoo.cfg

[root@node1 conf]# vi zoo.cfg
dataDir=/usr/local/zookeeper/data
#server.1=node1:2888:3888
#server.2=node1:2888:3888
...
#多节点需要server.1= 配置，用于多节点之间的心跳检测和选举机制

#配置myid，myid 文件用于标识 ZooKeeper 服务器的身份，即使是在单节点环境中，ZooKeeper 也需要知道自己是谁。内容应该是数字 1，表示这是一个独立的单节点部署。

[root@node1 conf]# mkdir /usr/local/zookeeper/data
[root@node1 conf]# echo 1 > /usr/local/zookeeper/data/myid

#设置环境变量
[root@node1 conf]# cd
[root@node1 ~]# cat >> .bash_profile << 'EOF'

#set for zookeeper
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
EOF


[root@node1 ~]# source .bash_profile

#启动zookeeper
[root@node1 ~]# zkServer.sh start

[root@node1 ~]# jps
2038 Jps
1995 QuorumPeerMain

2.4部署kafka

[root@node1 ~]# tar -xf kafka_2.12-3.4.0.tgz -C /usr/local/
[root@node1 ~]# cd /usr/local/
[root@node1 local]# mv kafka_2.12-3.4.0/ kafka
[root@node1 local]# cd kafka/config/

[root@node1 config]# vi server.properties
listeners=PLAINTEXT://node1:9092
log.dirs=/usr/local/kafka/logs
zookeeper.connect=node1:2181

[root@node1 config]# mkdir /usr/local/kafka/logs

#设置环境变量
[root@node1 config]# cd
[root@node1 ~]# cat >> .bash_profile << 'EOF'

#set for kafka
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin
EOF

[root@node1 ~]# source .bash_profile

#启动
[root@node1 ~]# kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

[root@node1 ~]# jps
1995 QuorumPeerMain
2412 Kafka
2429 Jps

3kafka常用使用命令

3.1创建topic以及给用户授权

#创建topic
[root@node1 ~]# kafka-topics.sh --bootstrap-server 192.168.1.200:9092 --create --replication-factor 1 --partitions 1 --topic my-topic
Created topic my-topic.


#给用户 mrloam 授予生产权限
[root@node1 ~]# kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.1.200:2181 --add --allow-principal User:mrloam --producer --topic my-topic
Warning: support for ACL configuration directly through the authorizer is deprecated and will be removed in a future release. Please use --bootstrap-server instead to set ACLs through the admin client.
Adding ACLs for resource `ResourcePattern(resourceType=TOPIC, name=my-topic, patternType=LITERAL)`: 
 	(principal=User:mrloam, host=*, operation=CREATE, permissionType=ALLOW)
	(principal=User:mrloam, host=*, operation=WRITE, permissionType=ALLOW)
	(principal=User:mrloam, host=*, operation=DESCRIBE, permissionType=ALLOW) 

Current ACLs for resource `ResourcePattern(resourceType=TOPIC, name=my-topic, patternType=LITERAL)`: 
 	(principal=User:mrloam, host=*, operation=CREATE, permissionType=ALLOW)
	(principal=User:mrloam, host=*, operation=WRITE, permissionType=ALLOW)
	(principal=User:mrloam, host=*, operation=DESCRIBE, permissionType=ALLOW) 


#创建消费组并授权，消费组不存在则授权消费权限报错
[root@node1 ~]# kafka-console-consumer.sh --bootstrap-server 192.168.1.200:9092 --topic my-topic --group my-group

#给用户 mrloam 授予消费权限，指定消费组 my-group
[root@node1 ~]# kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.1.200:2181 --add --allow-principal User:mrloam --consumer --topic my-topic --group my-group

#给用户 mrloam 授予消费权限，所有消费组
[root@node1 ~]# kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.1.200:2181 --add --allow-principal User:mrloam --consumer --topic my-topic --group *


#查看所有topic
[root@node1 ~]# kafka-topics.sh --bootstrap-server 192.168.1.200:9092 --list

#查看指定topic的详细信息
[root@node1 ~]# kafka-topics.sh --bootstrap-server 192.168.1.200:9092 --topic my-topic --describe

3.2生产、消费

#生产
[root@node1 ~]# kafka-console-producer.sh --bootstrap-server 192.168.1.200:9092 --topic my-topic


#创建或指定 groupid 进行消费
[root@node1 ~]# kafka-console-consumer.sh --bootstrap-server 192.168.1.200:9092 --topic my-topic --group my-group
[root@node1 ~]# kafka-console-consumer.sh --bootstrap-server 192.168.1.200:9092 --topic my-topic --consumer-property --group.id=my-group


#将偏移量移动到最早时间位置
[root@node1 ~]# kafka-consumer-groups.sh --bootstrap-server 192.168.1.200:9092 --group my-group --reset-offsets --topic my-topic --to-earliest --execute

#设置偏移量到最新时间
[root@node1 ~]# kafka-consumer-groups.sh --bootstrap-server 192.168.1.200:9092 --group my-group --topic my-topic --reset-offsets --to-latest --execute

#移动偏移量到指定时间位置
[root@node1 ~]# kafka-consumer-groups.sh --bootstrap-server 192.168.1.200:9092 --group my-group --topic my-topic --reset-offsets --to-datetime "2022-12-08T02:00:00.000" --execute --command-config consumer.properties

#移动偏移量到指定位置 200 处
[root@node1 ~]# kafka-consumer-groups.sh --bootstrap-server 192.168.1.200:9092 --group my-group --topic my-topic --reset-offsets --to-offset 200 --execute

#显示key消费,消费出的消息将打印出消息体的key和value
[root@node1 ~]# kafka-console-consumer.sh --bootstrap-server 192.168.1.200:9092 --topic my-topic --group my-group --property print.key=true

#指定消费10条数据
[root@node1 ~]# kafka-console-consumer.sh --bootstrap-server 192.168.1.200:9092 \
--topic my-topic \
--group my-group \
--max-messages 10 \
--property print.offset=true \
--property print.partition=true \
--property print.headers=true \
--property print.timestamp=true \
--consumer.config consumer.properties

#过滤指定时间的数据, 时间戳: $(date -d '2024-07-11 15:20:00.000' +%s%3N)
[root@node1 ~]# kafka-console-consumer.sh --bootstrap-server 192.168.1.200:9092 \
--topic my-topic \
--group my-group \
--property print.timestamp=true \
--consumer.config consumer.properties \
--from-beginning | awk -F 'CreateTime:' '$2>=1675742400000 && $2<=1675749600000 {print $0}'

3.3查看，添加，移除权限

#查看topic权限
[root@node1 ~]# kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.1.200:2181 --list --topic my-topic

#添加权限
[root@node1 ~]# kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.1.200:2181 --add --allow-principal User:mrloam --allow-host * --producer --topic my-topic
[root@node1 ~]# kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.1.200:2181 --add --allow-principal User:mrloam --allow-host 192.168.1.* --producer --topic my-topic
[root@node1 ~]# kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.1.200:2181 --add --allow-principal User:mrloam --allow-host * --consumer --topic my-topic --group my-group
[root@node1 ~]# kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.1.200:2181 --add --allow-principal User:mrloam --allow-host * --consumer --topic my-topic --group *

#移除权限
[root@node1 ~]# kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.1.200:2181 --remove --allow-principal User:mrloam --allow-host 192.168.1.* --producer --topic my-topic --force

[root@node1 ~]# kafka-acls.sh --authorizer-properties zookeeper.connect=192.168.1.200:2181 --remove --allow-principal User:mrloam --allow-host 192.168.1.* --consumer --group my-group --topic my-topic --force

增加topic分区数

[root@node1 ~]# kafka-topics.sh --alter --bootstrap-server 192.168.1.200:9092 --topic my-topic --partitions 3

消费组信息查询

#查看所有消费组
[root@node1 ~]# kafka-consumer-groups.sh --list --bootstrap-server 192.168.1.200:9092

#查看消费组详细信息
[root@node1 ~]# kafka-consumer-groups.sh --describe --bootstrap-server 192.168.1.200:9092 --group my-group

删除topic

[root@node1 ~]# kafka-topics.sh --delete --bootstrap-server 192.168.1.200:9092 --topic my-topic

#查看kafka版本
[root@node1 ~]# kafka-topics.sh --version
[root@node1 ~]# kafka-server-start.sh --version

[root@node1 ~]# cd $KAFKA_HOME
[root@node1 ~]# find ./libs -name 'kafka_*'|grep -o 'kafka[^\\n]*'	#kafka_2.12-3.4.0.jar #scala版本:2.11   kafka版本:3.4.0

#查看zk版本
[root@node1 ~]# zkServer.sh version

#连接到 ZooKeeper 服务器
[root@node1 ~]# zkCli.sh
version

[root@node1 ~]# echo stat | nc 192.168.1.200 2181
Mr.L-OAM
关注
五万字图文和代码详解kafka的安装与开启ACL权限控制，自定义SASL、ACL存储形式，实际项目使用案例剖析，kafka常用cmd命令使用总结及示例
代码讲故事
10-20 294
五万字图文和代码详解kafka的安装与开启ACL权限控制，自定义SASL、ACL存储形式，实际项目使用案例剖析，kafka常用cmd命令使用总结及示例。
Kafka常用命令整理
Kim_Weir的专栏
12-01 1275
1.前言 2.Broker默认端口号 3.启动Kafka 4.创建Topic 5.列出所有Topic 6.删除Topic 7.查看Topic 8.增加topic的partition数 9.生产消息 10.消费消息 11.查看有哪些消费者Group 12.查看新消费者详情 13.查看Group详情 14.删除Group 15.设置consum...
Kafka部署
宇博士的博客
11-27 1795
​ 数据缓冲队列。作为消息队列解耦合处理过程，同时提高了可扩展性。具有峰值处理能力，使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。 - 1.发布和订阅记录流，类似于消息队列或企业消息传递系统。 - 2.以容错持久的方式存储记录流。 - 3.处理记录发生的流。
kafka安装部署
热门推荐
m0_46192647的博客
03-11 4万+
一、安装kafka 下载kafka两种方式 （1）、手动下载 下载地址：Apache Kafka （2）、也可以用命令下载（直接下载到服务器哦！）： 将安装包下载到/opt/monitor/kafka文件夹下面 下载命令： wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz 手动下载移动到/opt/monitor/kafka目录下也可以 二、解压kafka tar -xzvf kafk
Kafka安装部署+go整合
最新发布
qq_45371023的博客
08-01 1153
Kafka安装部署+go整合
部署Kafka
wsdhla的专栏
09-21 1431
部署Kafka
kafka 配置部署
rigete的博客
11-27 629
本文以部署三台kafka broker 为例讲解， kafka版本为 kafka_2.9.2-0.8.1.1， 运行环境为centos，jdk版本为1.7以上，kafka依赖zookeeper, 部署之前部署好zookeeper集群。
Hello Kafka（六）——Kafka集群部署
天山老妖
02-24 1834
一、Kafka集群部署方案规划 1、操作系统选择 通常，生产环境应该将Kafka集群部署在Linux操作系统上，原因如下： （1）Kafka客户端底层使用了Java的selector，selector在Linux上的实现机制是epoll，而在Windows平台上的实现机制是select，因此Kafka部署在Linux上能够获得更高效的I/O性能。 （2）网络传输效率的差别。Kafka需要在磁盘和网络间进行大量数据传输，在Linux部署Kafka能够享受到零拷贝（Zero Copy）技术所带来的快速数
kafka概念，zookeeper和kafka伪分布式部署，软连接与nohub，kafka常用命令
qq_36459386的博客
01-12 634
文章目录kafka是啥主题 topic一个主题有n个分区,方便并行部署kafka之前要部署zookeeperzookeeper伪分布式部署kafka版本给kafka个软连接看看之前的zookeeper有没有kafka残留信息kafka配置启动kafka用nohup不挂断启动kafkakafka常用命令创建topic与查看修改topic删除topic假如删除不干净1.删除linux磁盘文件夹2.删除...
Kafka部署全攻略——认证机制及ACL权限控制简介
bbsxb520的博客
06-20 277
KAFKA的认证机制介绍，和ACL常用操作举例
kafka常用命令及配置参数详解
Kim_Weir的专栏
12-01 1823
1. 安装Kafka 1.1 下载 wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz 如果下载很慢或者不方便，也可以用这里已经下载好的压缩包。链接: https://pan.baidu.com/s/1u8mSfubwZupFqKtK6PH6Qw提取码: v5em 1.2 解压 tar -xzf...
kafka部署
jxb116的博客
04-05 525
部署准备： 1， 一台部署好jdk的linux虚拟机！ 2，(1)apache-maven-3.2.1.storm.zip;(2)zkui.storm.zip;(3)kafka_2.9.2-0.8.1.1.storm.zip(4)jdk-8u74-linux-x64.gz kafka部署： step1   将jdk的压缩包移动到root 用户下的 /usr/share 文件夹（注释：sha
kafka 部署
Terry Tsang
08-20 143
目的 部署 kafka 集群 提供 falcon-transfer 使用 kafka 需要使用 zookeeper 集群 共享 hadoop 使用中的 zookeeper 即可 参考 zookeeper 集群部署方法 软件下载 官方网站 下载 kafka_2.13-2.6.0.tgz 参考信息 需求 java 环境 Zookeeper 环境 参考 zookeeper 集群部署方法 部署 kafka 环境变量 /etc/profile KAFKA_HOME=/apps/svr/kafka PATH=$
Java环境搭建及Kafka、Flink部署指南
本文档详细介绍了在Linux服务器上环境搭建的基础步骤，特别是与Kafka和Flink相关的软件如JDK和Redis的安装、配置和集成，以及必要的端口管理。这对于理解和配置一个包含这些组件的分布式流处理系统至关重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr.L-OAM

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值