kafka安装配置(超详细，傻瓜式安装)

kafka安装配置

使用的三台主机名称分别为bigdata1，bigdata2，bigdata3。所使用的安装包名称按自己的修改，安装包可去各大官网上下载

一，解压
将Master节点Zookeeper，kafka安装包解压到/opt/module目录下

tar -zxvf /opt/software/kafka_2.12-2.4.1.tgz -C /opt/module/

tar -zxvf /opt/software/apache-zookeeper-3.5.7-bin.tar.gz-C/opt/module/

二，配置
配置好zookeeper，其中zookeeper使用集群模式
修改环境变量

vim /etc/profile

#ZK
export ZK_HOME=/opt/module/zookeeper-3.5.7
export PATH=$PATH:$ZK_HOME/bin

刷新环境变量
三台虚拟机都要配置

source /etc/proflie

进入zookeeper创建data文件夹

mkdir data

进入data

cd data 

vim myid 

写入2

2

然后在进入zookeeper的conf下
修改zoo_sample.cfg名字改为zoo.cfg

 mv zoo_sample.cfg  zoo.cfg

修改zoo.cfg

vim zoo.cfg

添加

server.2=bigdata1:2888:3888
server.3=bigdata2:2888:3888
server.4=bigdata3:2888:3888

修改

dataDir=/opt/module/zookeeper-3.5.7/data

分发zookeeper

 scp -r /opt/module/zookeeper-3.5.7/ root@bigdata2:/opt/module/

 scp -r /opt/module/zookeeper-3.5.7/ root@bigdata3:/opt/module/

修改bigdata2和bigdata3中的zookeeper下的data中myid的值分别改为3和4
与下方的对应

server.2=bigdata1:2888:3888
server.3=bigdata2:2888:3888
server.4=bigdata3:2888:3888

修改名称使环境变量里的和module下的一致
在module下：

mv apache-zookeeper-3.5.7-bin zookeeper-3.5.7 

mv kafka_2.12-2.4.1 kafka-2.12

启动zookeeper
三台都启动
启动后jps查看进程 QuorumPeerMain

zkServer.sh start

配置好kafka的环境变量
三台都配

vim /etc/profile

#kafka
export KAFKA_HOME=/opt/module/kafka-2.12
export PATH=$PATH:$KAFKA_HOME/bin

刷新环境变量

source /etc/profile

使用kafka-server-start.sh --version查看kafka的版本内容

kafka-server-start.sh --version

三，使用
进入kafka的config中修改server.properties文件

vim /opt/module/kafka-2.12/config/server.properties

#节点id，不同的节点用不同的数字表示

broker.id=1

#对外的ip及端口，端口号每个文件不要用同一个，我使用的分别是9091,9092,9093

listeners=PLAINTEXT://192.168.4.130:9091

#数据存放位置，每个节点一个如/kafka-logs-1，/kafka-logs-2，/kafka-logs-3等，不同节点使用文件不可重复，如果重复了容易启动失败

log.dirs=/usr/local/kafka_2.12-2.5.1/data/cluster/kafka-logs-1

#填zookeeper的地址，多个用，隔开

zookeeper.connect=192.168.4.130:2181

启动kafka
后台启动

bin/kafka-server-start.sh -daemon config/server.properties

在每个节点启动Kafka，创建topic，其中toipic名称为installtopic，分区数为2，副本数为2

kafka-topics.sh --create --zookeeper bigdata1:2181 --replication-factor 2 --partitions 2 --topic installtopic

查看创建成果

kafka-topics.sh --bootstrap-server bigdata1:9091 --list