安装Kafka记录

安装Kafka前需要安装Zookeeper

1.Zookeeper安装教程

安装服务器列表：192.168.4.1

                            192.168.5.1

教程为在4.1安装记录。

将tar.gz包上传到安装目录下，以/home为例

1.1确认关闭防火墙

systemctl status firewalld

如果未关闭：systemctl stop firewalld

1.2解压安装包

cd /home

tar –zxvf apache-zookeeper-3.5.5-bin.tar.gz

1.3修改文件名称(可不执行

mv apache-zookeeper-3.5.5-bin zookeeper-3.5.5

1.4配置服务器中zookeeper环境变量

vi ~/.bash_profile

在打开的文件中添加以下内容：

ZOOKEEPER_HOME=/home/zookeeper-3.5.5

PATH=$PATH:$ZOOKEEPER_HOME/bin:

export ZOOKEEPER_HOME PATH

使配置生效：

source ~/.bash_profile

1.5创建数据目录及日志目录

进入zookeeper目录：cd /home/zookeeper-3.5.5

mkdir data

mkdir datalog

在data目录下创建myid：vi myid

写入数字：101（自行决定且唯一即可）

1.6修改zookeeper配置内容

进入conf目录：cd /conf

拷贝配置文件：cp zoo_sample.cfg zoo.cfg

修改zoo.cfg文件：vi zoof.cfg

在文件末尾添加以下内容：

dataDir=/home/zookeeper-3.5-5/data

dataLogDir=/home/zookeeper-3.5-5/datalog

server.101=192.168.4.1:2888:3888//与myid中的101相同

server.102=192.168.5.1:2888:3888

1.7进行集群拷贝

scp -r zookeeper-3.5.5 root@192.168.5.1:/home

修改data中的myid为102，并将环境变量配置好即可

1.8启动服务

zkServer.sh start

查看该节点角色：zkServer.sh status

2.Kafka安装教程

2.1上传tgz包并解压

cd /home

tar –zxvf kafka_2.12-3.2.0.tgz

2.2修改文件名称(可不执行

mv kafka_2.11-2.4.1 kafka

2.3进入目录并创建logs目录

cd kafka

mkdir logs

2.4修改配置文件

cd config/

vi server.properties

#broker的全局唯一编号，不能重复

broker.id=1

#代理将向生产者和消费者发布主机名和端口。设置为本机ip即可。如果没有设置，则使用listener的值。否则，它将使用从

java.net.InetAddress.getCanonicalHostName()返回的值。

advertised.listeners=PLAINTEXT://192.168.4.1:9092

log.dirs设置为刚才创建的logs文件夹全路径

设置zookeeper.connect属性用于指定zookeeper集群地址；

delete.topic.enable=true使能删除topic

2.5修改环境变量

sudo vi /etc/profile

添加以下内容

#KAFKA_HOME

export KAFKA_HOME=/home/kafka

export PATH=$PATH:$KAFKA_HOME/bin

使环境变量生效：source /etc/profile

2.6分发安装包

cd /home

scp -r kafka/ root@192.168.5.1:/home/kafka

修改5.1环境变量及kafka配置文件中的broker.id及listener即可。

2.7启动kafka集群

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties