一、安装包下载
zookeeper下载路径:
https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.5.10/apache-zookeeper-3.5.10-bin.tar.gz
kafka下载路径:
https://kafka.apache.org/downloads
[图片]
下载后要验证下载的包是否完整,看是否与官网的加密串相同
校验通常使用hash算法生成的摘要进行验证
通过md5sum 或者sha256sum 验证包是否完整,md5sum kafka包名称
预期结果:
[图片]
86cdeb04af123399858d03431e9777948c1c40ec0d843966cf9bd90b8235b47ebbb5cb96d1f0660710b9286da86bbb5ee65e21e757606f5a1e67f970ae5cf57c kafka_2.13-3.0.0.tgz
[图片]
kafka集群规划
kafka1 kafka2 kafka3
192.168.75.135 192.168.75.136 192.168.75.137
kafka安装的前提需要有jdk环境,还需要涉及ZooKeeper的安装
jdk安装:
环境变量配置
export JAVA_HOME=/root/data/soft/jdk1.8.0_361
export PATH=
J
A
V
A
H
O
M
E
/
b
i
n
:
JAVA_HOME/bin:
JAVAHOME/bin:PATH
export CLASSPATH=.:
J
A
V
A
H
O
M
E
/
l
i
b
/
d
t
.
j
a
r
:
JAVA_HOME/lib/dt.jar:
JAVAHOME/lib/dt.jar:JAVA_HOME/lib/tools.jar
[图片]
zookeeper安装:
tar -zxvf apache-zookeeper-3.5.10-bin.tar.gz
设置环境变量:
vim /etc/profile
export ZK_HOME=/root/data/soft/zookeeper
export PATH=
Z
K
H
O
M
E
/
b
i
n
:
ZK_HOME/bin:
ZKHOME/bin:PATH
配置文件生效
source /etc/profile
配置文件配置:
server.0=kafka1:2888:3888
server.1=kafka2:2888:3888
server.2=kafka3:2888:3888
server.0=192.168.75.136:2888:3888
server.1=192.168.75.135:2888:3888
server.2=192.168.75.137:2888:3888
启动
cd /root/data/soft/zookeeper/bin
bash zkServer.sh start
bash zkServer.sh stop
bash zkServer.sh status
./zkServer.sh start-foreground
1、验证zookeeper包是否完整
sha256sum +包名
2、解压
tar -zxvf +包名
3、解压后
4、创建存放数据的文件夹
mkdir /data/datalake
mkdir /data/datalake/zkdata
5、进入conf 之后,拷贝多一份文件zoo.cfg作为配置
cp zoo_sample.cfg zoo.cfg
6.编辑zoo.cfg
vi zoo.cfg
7、添加内容为启动日志保存的路径
DataDir=/data/zookeeper
DataLogDir=/data/datalake/zkdata
8、然后进入zookeeper的 bin目录下 启动
zkServer.sh start
也可以配置zookeeper的环境变量,这样就不用每次进入目录下启动了
zkServer.sh status 查看运行状态
zkCli.sh测试一下,是否能链接上
[图片]
kafka安装:
配置
server.properties
vim /root/data/soft/kafka_2.13-3.0.0/config/server.properties
broker.id=0
port=9092
log.dirs=/root/data/logs/kafka
zookeeper.connect=kafka1:2181,kafka2:2181,kafka2:2181
192.168.75.135:2181,192.168.75.136:2181,192.168.75.137:2181
环境变量:
vim /etc/profile
export KAFKA_HOME=/root/data/soft/kafka_2.13-3.0.0
export PATH=
K
A
F
K
A
H
O
M
E
/
b
i
n
:
KAFKA_HOME/bin:
KAFKAHOME/bin:PATH
配置文件生效
source /etc/profile
启动集群
cd /root/data/soft/kafka_2.13-3.0.0/bin
kafka-server-start.sh /root/data/soft/kafka_2.13-3.0.0/config/server.properties
操作kafka
//创建主题
kafka-topics.sh --zookeeper 192.168.75.135:9092,192.168.75.136:9092 --create --replication-factor 2 partitions 3 --topic usertopic
kafka-topics.sh --zookeeper kafka1:2181,kafka2:2181,kafka3:2181 --create --replication-factor 2 partitions 3 --topic usertopic
kafka-topics.sh --create --topic usertopic --bootstrap-server 192.168.75.136:2181
kafka-topics.sh --zookeeper --create --replication-factor 2 partitions 3 --topic user2topic
//删除topic
kafka-topics.sh --zookeeper --delete–replication-factor 2 partitions 3 --topic user2topic
//查看所有主题
kafka-topics.sh --zookeeper --list
kafka-topics.sh --zookeeper --describe --topic usertopic
//创建生产者
kafka-console-producer.sh --broker-list --topic usertopic
//创建消费者
kafka-console-consumer.sh --zookeeper --from-beginning --topic usertopic
//创建主题topic
kafka-topics.sh --bootstrap-server 192.168.75.135:9092 --topic first --create --partitions 1 --replication-factor 3
[图片]
//查看列表
kafka-topics.sh --bootstrap-server 192.168.75.135:9092 --list
查看列表
[图片]
[图片]
二、kafka简介
基础架构
[图片]