一、zookeeper安装
在同一台服务器上,以不同端口(2181,2182,2183
)运行三个zookeeper
,形成一个伪集群
-
下载安装包
cd /opt/software wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz
-
解压安装包
tar -zxvf zookeeper.tar.gz -C /opt/module/zookeeper/ /opt/module/zookeeper mv apache-zookeeper-3.8.0-bin/ zookeeper-2181
-
创建目录
cd /opt/module/zookeeper/zookeeper-2181 mkdir data logs
-
修改配置文件
cd /opt/module/zookeeper/zookeeper-2181/conf cp zoo_sample.cfg zoo.cfg
修改
dataDir
,clientPort
两个配置项dataDir=/opt/module/zookeeper/zookeeper-2181/data clientPort=2181
并添加以下配置项
dataLogDir=/opt/module/zookeeper/zookeeper-2181/logs server.1=localhost:2287:3387 server.2=localhost:2288:3388 server.3=localhost:2289:3389
在
data
目录下创建myid
文件cd /opt/module/zookeeper/zookeeper-2181/data vim myid
在
myid
中指定节点id,
在一个集群中不能重复。例如:将2181
节点的id
设置为1
,2182
节点设置为2
,2183
节点设置为3
-
复制多个
zookeeper
cd /opt/module/zookeeper/ cp -r zookeeper-2181 zookeeper-2182 cp -r zookeeper-2181 zookeeper-2183
修改
conf/zoo.cfg
配置文件中的配置,参考第4
小节 -
修改内存大小
在各个节点的配置目录下,新增配置配置文件
cd /opt/module/zookeeper/zookeeper-2181/conf vim zkEnv.sh
添加以下内容
#!/bin/sh export JVMFLAGS="-Xms100m -Xmx100m $JVMFLAGS"
-
启动
zookeper
进入到每个
zookeeper
中,启动zookeeper
cd /opt/module/zookeeper/zookeeper-2181 ./bin/zkServer.sh start conf/zoo.cfg
-
查看
zookeeper
运行状态for i in {1,2,3}; do sh /opt/module/zookeeper/zookeeper-218${i}/bin/zkServer.sh status; done
查看某个节点的状态
/opt/module/zookeeper/zookeeper-2181/bin/zkServer.sh status
二、kafka安装
在同一台服务器上,以不同的端口(9091,9092,9093
)启动三个kafka
节点,组成伪集群
-
下载、解压安装包
mkdir /opt/software/kafka cd /opt/software wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/3.1.0/kafka_2.13-3.1.0.tgz tar -zxvf kafka_2.13-3.1.0.tgz /opt/module/kafka cd /opt/software/kafka mv kafka_2.13-3.1.0 kafka_9091
-
新建目录
mkdir -p /opt/module/kafka/kafka_9091/logs
-
修改配置文件
cd /opt/module/kafka/kafka_9091/conf
修改配置文件
server.properties
broker.id=1 listeners=PLAINTEXT://localhost:9091 log.dirs=/opt/module/kafka/kafka_9091/logs zookeeper.connect=localhost:2181,localhost:2182,localhost:2183
broker.id
:节点id
,在同一个集群中,不能重复listeners
:节点监听的端口,在同一台机器上,也不能相同log.dris
:存储数据的位置zookeeper.connect
:zookeeper
集群的连接地址
-
复制多个
kafka
cd /opt/module/kafka/ cp -r kafka_9091 kafka_9092 cp -r kafka_9091 kafka_9093
复制完成后,根据第三小节,修改配置项
-
修改内存大小
在各个节点下,修改脚本文件
cd /opt/module/kafka/kafka_9091/bin vim kafka-server-start.sh
修改配置项
KAFKA_HEAP_OPTS
export KAFKA_HEAP_OPTS="-Xmx200M -Xms200M"
-
启动
kafka
进入
kafka
的各个节点安装目录cd /opt/module/kafka/kafka_9091
启动
kafka
./bin/kafka-server-start.sh -daemon config/server.properties
关闭
kafka
./bin/kafka-server-stop.sh
-
检查
kafka
查询
kafka
的topic
信息./bin/kafka-topics.sh --bootstrap-server localhost:9091,localhost:9092,localhost:9093 --list