部署kafka

最新推荐文章于 2024-05-18 00:15:00 发布
最新推荐文章于 2024-05-18 00:15:00 发布
阅读量262 收藏
点赞数
分类专栏： kafka 文章标签： kafka zookeeper java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41257472/article/details/120578976
版权

部署kafka

部署jdk环境

  • 准备 3 台服务器做 Zookeeper 集群
192.168.3.1 node1
192.168.3.3 node2
192.168.3.10 node3
  • 时间同步
ntpdate ntp1.aliyun.com
  • 创建程序用户和密码
useradd appUser
echo Abc123 | passwd --stdin appUser
  • 解压软件包（jdk环境），添加环境变量
tar xf jdk1.8.0_221.tar.gz -C /usr/local/

vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_221
export JR_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile
  • 测试
[root@node3 kafka]# java -version
java version "1.8.0_201"
Java(TM) SE Runtime Environment (build 1.8.0_201-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixed mode)
  • 先创建对应的目录
mkdir -p  /export/packages/{kafka,zookeeper,java}  
mkdir -p  /export/data/{kafka,zookeeper}
mkdir -p  /export/logs/{kafkalog,zkdatalog}  
mkdir -p /export/servers

部署zookeeper

  • 解压zookeeper
tar xf zookeeper-3.4.13.tar -C /export/packages/zookeeper/
  • 备份、修改配置文件
cd /export/packages/zookeeper/zookeeper-3.4.13/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
tickTime=2000   #通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒
initLimit=10    #Leader和Follower初始连接时能容忍的最多心跳数（tickTime的数量），这里表示为10*2s
syncLimit=5     #Leader和Follower之间同步通信的超时时间，这里表示如果超过5*2s，Leader认为Follwer死掉，并从服务器列表中删除Follwer
dataDir=/export/packages/zookeeper/zookeeper-3.4.13/data      ●修改，指定保存Zookeeper中的数据的目录，目录需要单独创建
dataLogDir=/export/packages/zookeeper/zookeeper-3.4.13/logs  ●添加，指定存放日志的目录，目录需要单独创建
clientPort=2181   #客户端连接端口
#添加集群信息
server.1=192.168.3.1:3188:3288
server.2=192.168.3.3:3188:3288
server.3=192.168.3.10:3188:3288
---》wq
  • 检查配置项
[root@node3 kafka]# grep -Ev "^#|^$" /export/packages/zookeeper/zookeeper-3.4.13/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/export/packages/zookeeper/zookeeper-3.4.13/data
dataLogDir=/export/packages/zookeeper/zookeeper-3.4.13/logs
clientPort=2181
server.1=192.168.3.1:3188:3288
server.2=192.168.3.3:3188:3288
server.3=192.168.3.10:3188:3288
  • 创建数据、日志目录
mkdir /export/packages/zookeeper/zookeeper-3.4.13/{data,logs}
  • 拷贝配置文件至其他两个zookeeper节点
scp /export/packages/zookeeper/zookeeper-3.4.13/conf/zoo.cfg 192.168.3.3:/export/packages/zookeeper/zookeeper-3.4.13/conf
scp /export/packages/zookeeper/zookeeper-3.4.13/conf/zoo.cfg 192.168.3.10:/export/packages/zookeeper/zookeeper-3.4.13/conf
  • 在"每个"节点的dataDir指定的目录下创建一个 myid 的文件
echo 1 > /export/packages/zookeeper/zookeeper-3.4.13/data/myid
echo 2 > /export/packages/zookeeper/zookeeper-3.4.13/data/myid
echo 3 > /export/packages/zookeeper/zookeeper-3.4.13/data/myid
  • 配置zookeeper启动脚本
vim /etc/init.d/zookeeper
#!/bin/bash
#chkconfig:2345 20 90
#description:Zookeeper Service Control Script
ZK_HOME='/export/packages/zookeeper/zookeeper-3.4.13/'
case $1 in
start)
	echo "---------- zookeeper 启动 ------------"
	$ZK_HOME/bin/zkServer.sh start
;;
stop)
	echo "---------- zookeeper 停止 ------------"
	$ZK_HOME/bin/zkServer.sh stop
;;
restart)
	echo "---------- zookeeper 重启 ------------"
	$ZK_HOME/bin/zkServer.sh restart
;;
status)
	echo "---------- zookeeper 状态 ------------"
	$ZK_HOME/bin/zkServer.sh status
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac
  • 设置开机自启
chmod +x /etc/init.d/zookeeper
chkconfig --add zookeeper
  • 启动zookeeper
service zookeeper start
[root@node3 kafka]# netstat -antp | grep 2181
tcp6       0      0 :::2181                 :::*                    LISTEN      16453/java          
tcp6       0      0 192.168.3.10:2181       192.168.3.10:46452      ESTABLISHED 16453/java          
tcp6       0      0 192.168.3.10:46452      192.168.3.10:2181       ESTABLISHED 16901/java
  • 查看集群状态
[root@node3 kafka]# service zookeeper status
---------- zookeeper 状态 ------------
ZooKeeper JMX enabled by default
Using config: /export/packages/zookeeper/zookeeper-3.4.13/bin/../conf/zoo.cfg
Mode: leader
  • 做两条软连接
ln -s /export/packages/zookeeper/zookeeper-3.4.13/bin/* /usr/local/bin
ln -s /export/packages/zookeeper/zookeeper-3.4.13  /export/servers/zookeeper

部署kafka

  • 解压文件后备份、修改配置文件
cd /export/servers/kafka/config/
cp -r server.properties server.properties.back
vim /export/servers/kafka/config/server.properties
所有节点修改对应配置文件，如下：
#21 broker.id=0								broker的全局唯一编号，每个broker不能重复
 #31 listeners=PLAINTEXT://192.168.3.1:9092					指定监听的IP和端口，如果修改每个broker的IP需区分开
#60 log.dirs=/export/Logs/kafkalog 						kafka运行日志存放的路径，也是数据存放的路径
#123 zookeeper.connect=192.168.226.128:2181,192.168.226.130:2181,192.168.226.131:2181	配置连接Zookeeper集群地址
---->wq
PS：broker.id和listeners不相同，其他都相同
  • 检查配置项
[root@node3 kafka]# grep -Ev "^#|^$" /export/servers/kafka/config/server.properties
broker.id=3
listeners=PLAINTEXT://192.168.3.10:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/export/logs/kafkalog
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.3.1:2181,192.168.3.3:2181,192.168.3.10:2181
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
  • 修改管理文件的用户属主.属组
chown -R appUser.appUser /export/*
  • 配置kafka启动脚本
[root@node3 kafka]# cat /etc/init.d/kafka
#!/bin/bash
#chkconfig:2345 22 88
#description:Kafka Service Control Script
KAFKA_HOME='/export/servers/kafka/'
case $1 in
start)
	echo "---------- Kafka 启动 ------------"
	${KAFKA_HOME}/bin/kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties
;;
stop)
	echo "---------- Kafka 停止 ------------"
	${KAFKA_HOME}/bin/kafka-server-stop.sh
;;
restart)
	$0 stop
	$0 start
;;
status)
	echo "---------- Kafka 状态 ------------"
	count=$(ps -ef | grep kafka | egrep -cv "grep|$$")
	if [ "$count" -eq 0 ];then
        echo "kafka is not running"
    else
        echo "kafka is running"
    fi
;;
*)
    echo "Usage: $0 {start|stop|restart|status}"
esac
  • 切换用户启动kafka
su appUser
[root@node1 kafka]# /export/servers/kafka/bin/kafka start
---------- Kafka 启动 ------------
[root@node1 kafka]# netstat -antp | grep 9092
tcp6       0      0 192.168.3.1:9092        :::*                    LISTEN      15770/java          
tcp6       0      0 192.168.3.1:9092        192.168.3.3:59904       ESTABLISHED 15770/java          
tcp6       0      0 192.168.3.1:43628       192.168.3.10:9092       ESTABLISHED 15770/java

topic

  • 创建topic
[appUser@node1 kafkalog]$ /export/servers/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.3.1:2181 --replication-factor 2 --partitions 1 --topic ky11
Created topic ky11.
  • 在两个节点执行以下命令
[root@node1 kafka]# /export/servers/kafka/bin/kafka-console-producer.sh --broker-list 192.168.3.1:9092 --topic test
>qw
>sas
>ww
[root@node3 kafka]# /export/servers/kafka/bin/kafka-console-producer.sh --broker-list 192.168.3.10:9092 --topic test
>er
>ewr
  • 在第三个节点使用以下命令
[appUser@node2 bin]$ /export/servers/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.3.3:9092 --topic test --from-beginning

test
;
exit
qi
qw
sas
ww
er
ewr
  • topic其他命令
[appUser@node1 kafka]$ /export/servers/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.3.1:2181		//查看topic
__consumer_offsets
qwe
test
  • 查看topic状态
[appUser@node1 kafka]$ /export/servers/kafka/bin/kafka-topics.sh --describe --zookeeper 192.168.3.1:2181 --topic test
Topic:test	PartitionCount:1	ReplicationFactor:2	Configs:
	Topic: test	Partition: 0	Leader: 3	Replicas: 3,1	Isr: 3,1
 含义：分区为为1。复制因子为2。他的test的分区为0。Replicas: 3,1。 复制的为3,1
咸鱼王变身
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Docker部署Kafka以及Spring Kafka实现
01-11
这篇文章主要介绍了Docker部署Kafka以及Spring Kafka实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 从https://hub.docker.com/查找kafka 第三个活跃并...
LinuxLinux部署kafka集群
03-01
【Linux】Linux部署kafka集群 包含：kafka，zookeeper，jdk压缩包
部署Kafka
wsdhla的专栏
09-21 1217
部署Kafka
docker 部署kafka
weixin_57632548的博客
12-21 1967
随笔记录。
docker部署kafka
letterss的博客
02-09 1万+
1.拉取镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 2.启动，先启动zookeeper docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper 再启动kafka,中间两个参数的172.17.137.55改为宿主机器的IP地址，如果不这么设置，可能会导致在别的机器上访问不到kafka。使用docker命令可快速在同一台机器搭
Kubernetes 部署 Kafka 集群
fangling86的专栏
06-06 1215
在 Kubernetes 上部署 KRaft 模式 Kafka 集群
Docker部署Kafka
09-16 1962
Docker安装Kafka 1.安装zookeeper docker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper:latest 2.安装Kafka docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 -e K
用 docker 部署kafka
热门推荐
lijiewen2017的博客
10-31 2万+
通过 docker 部署 kafka 服务
使用Linux部署Kafka教程
JackMa的博客
08-26 3380
e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.0.13:9092 把kafka的地址端口注册给zookeeper，如果是远程访问要改成外网IP,类如Java程序访问出现无法连接。-e KAFKA_ZOOKEEPER_CONNECT=172.16.0.13:2181/kafka 配置zookeeper管理kafka的路径172.16.0.13:2181/kafka。-v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间。
kubesphere部署kafka单点
求道问术
07-13 1934
【代码】kubesphere部署kafka单点。
ansible部署kafka集群
冲击
03-24 1278
使用这一台母机，编写Ansible脚本（在/root目录下创建example目录作为Ansible工作目录，部署的入口文件命名为cscc_install.yaml），编写Ansible脚本使用roles的方式对其他三台云主机进行安装kafka集群的操作（zookeeper和kafka的安装压缩包在gpmall-single.tar.gz压缩包中，将zookeeper和kafka的压缩包解压到node节点的/opt目录下进行安装）。在example文件下面编写cscc_install.yaml文件。
Docker 部署kafka
weixin_40750633的博客
05-13 1548
环境准备 CentOS 7.5 Docker 环境 zookeeper安装 下载zookeeper镜像 docker pull wurstmeister/zookeeper 启动zookeeper容器 docker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper 参数说明： -v /etc/localtime:/etc/localtime :让容器
docker-compose 容器部署 kafka
07-30
docker-compose 容器部署 kafka 配置文件
利用docker和docker-compose部署单机kafka
01-20
docker部署kafka非常简单，只需要两条命令即可完成kafka服务器的部署。 docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e ...
kafka学习笔记04（小滴课堂）
weixin_52618349的博客
05-14 216
Kafka的producer生产者发送到Broker分区策略讲解 ，Kafka核心API模块-producer API讲解实战， ProducerRecord介绍和key的作用， Kafka核心API模块-producerAPI回调函数实战 Kafka 生产者自定义partition分区规则实战
kafka基本命令
qq_36391380的博客
05-15 291
【代码】kafka基本命令。
Kafka-生产者（producer）发送信息流程详解
最新发布
喻师傅的学习笔记
05-18 798
Kafka生产者发送信息流程
kafka基础知识
码不停歇的博客
05-14 287
Range分配策略:此策略将分区按照范围分配给消费者,旨在尽可能平均地分配分区给消费者,以确保负载均衡。topic(分区,副本,topic输入输出流量,topic每秒输入的消息条数)RoundRobin分配策略:此策略以轮询的方式分配置分区给消费者。kafka日志保存位置及消息保存时间。生产端:消息发送成功但响应失败。如何处理数据积压问题?扩大kafka集群规模。消费端:偏移量提交失败。如何看数据积压问题?为什么能做到高并发?
Kafka-文件存储机制
喻师傅的学习笔记
05-17 705
Kafka文件存储机制
helm 部署kafka
09-01
使用Helm部署Kafka可以简化部署和管理过程。您可以使用以下命令来部署Kafka： ```shell helm install --name kafka --namespace kafka -f kafka-values.yaml bitnami/kafka ``` 这个命令将使用Helm安装Bitnami的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值