Kafka安装

一、安装包下载
zookeeper下载路径：
https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.5.10/apache-zookeeper-3.5.10-bin.tar.gz
kafka下载路径：
https://kafka.apache.org/downloads
[图片]
下载后要验证下载的包是否完整，看是否与官网的加密串相同
校验通常使用hash算法生成的摘要进行验证
通过md5sum 或者sha256sum 验证包是否完整，md5sum kafka包名称
预期结果：
[图片]
86cdeb04af123399858d03431e9777948c1c40ec0d843966cf9bd90b8235b47ebbb5cb96d1f0660710b9286da86bbb5ee65e21e757606f5a1e67f970ae5cf57c kafka_2.13-3.0.0.tgz
[图片]
kafka集群规划
kafka1 kafka2 kafka3
192.168.75.135 192.168.75.136 192.168.75.137
kafka安装的前提需要有jdk环境，还需要涉及ZooKeeper的安装
jdk安装：
环境变量配置
export JAVA_HOME=/root/data/soft/jdk1.8.0_361
export PATH=$JAV{A}_{H}OME/bin:$PATH
export CLASSPATH=.:$JAV{A}_{H}OME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[图片]
zookeeper安装：
tar -zxvf apache-zookeeper-3.5.10-bin.tar.gz
设置环境变量：

vim /etc/profile

export ZK_HOME=/root/data/soft/zookeeper
export PATH=$Z{K}_{H}OME/bin:$PATH

配置文件生效

source /etc/profile

配置文件配置：
server.0=kafka1:2888:3888
server.1=kafka2:2888:3888
server.2=kafka3:2888:3888

server.0=192.168.75.136:2888:3888
server.1=192.168.75.135:2888:3888
server.2=192.168.75.137:2888:3888

启动
cd /root/data/soft/zookeeper/bin
bash zkServer.sh start
bash zkServer.sh stop
bash zkServer.sh status

./zkServer.sh start-foreground

1、验证zookeeper包是否完整
sha256sum +包名
2、解压
tar -zxvf +包名
3、解压后
4、创建存放数据的文件夹
mkdir /data/datalake
mkdir /data/datalake/zkdata
5、进入conf 之后，拷贝多一份文件zoo.cfg作为配置
cp zoo_sample.cfg zoo.cfg
6.编辑zoo.cfg
vi zoo.cfg
7、添加内容为启动日志保存的路径
DataDir=/data/zookeeper
DataLogDir=/data/datalake/zkdata

8、然后进入zookeeper的 bin目录下 启动
zkServer.sh start
也可以配置zookeeper的环境变量，这样就不用每次进入目录下启动了
zkServer.sh status 查看运行状态
zkCli.sh测试一下，是否能链接上
[图片]
kafka安装：
配置
server.properties
vim /root/data/soft/kafka_2.13-3.0.0/config/server.properties

broker.id=0
port=9092
log.dirs=/root/data/logs/kafka
zookeeper.connect=kafka1:2181,kafka2:2181,kafka2:2181
192.168.75.135:2181,192.168.75.136:2181,192.168.75.137:2181
环境变量：

vim /etc/profile

export KAFKA_HOME=/root/data/soft/kafka_2.13-3.0.0
export PATH=$KAFK{A}_{H}OME/bin:$PATH

配置文件生效

source /etc/profile

启动集群
cd /root/data/soft/kafka_2.13-3.0.0/bin
kafka-server-start.sh /root/data/soft/kafka_2.13-3.0.0/config/server.properties
操作kafka
//创建主题
kafka-topics.sh --zookeeper 192.168.75.135:9092,192.168.75.136:9092 --create --replication-factor 2 partitions 3 --topic usertopic
kafka-topics.sh --zookeeper kafka1:2181,kafka2:2181,kafka3:2181 --create --replication-factor 2 partitions 3 --topic usertopic
kafka-topics.sh --create --topic usertopic --bootstrap-server 192.168.75.136:2181
kafka-topics.sh --zookeeper --create --replication-factor 2 partitions 3 --topic user2topic
//删除topic
kafka-topics.sh --zookeeper --delete–replication-factor 2 partitions 3 --topic user2topic
//查看所有主题
kafka-topics.sh --zookeeper --list
kafka-topics.sh --zookeeper --describe --topic usertopic

//创建生产者
kafka-console-producer.sh --broker-list --topic usertopic

//创建消费者
kafka-console-consumer.sh --zookeeper --from-beginning --topic usertopic

//创建主题topic
kafka-topics.sh --bootstrap-server 192.168.75.135:9092 --topic first --create --partitions 1 --replication-factor 3

[图片]

//查看列表
kafka-topics.sh --bootstrap-server 192.168.75.135:9092 --list
查看列表
[图片]

[图片]
二、kafka简介

基础架构
[图片]