大数据应用开发之kafka安装

Kafka安装配置

本任务需要使用root用户完成相关配置，已安装Hadoop及需要配置前置环境，具体要求如下：

1.从宿主机/opt目录下将文件zookeeper-3.4.6.tar.gz、kafka_2.12-2.0.0.tgz复制到容器master中的/opt/software路径中（若路径不存在，则需新建），将Master节点Zookeeper，Kafka安装包解压到/opt/module目录下，将Kafka解压命令复制并粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；

第一步：

docker cp /opt/zookeeper-3.4.6.tar.gz hadoop1:/opt/software

docker cp /opt/kafka_2.12-2.0.0.tgz hadoop1:/opt/software

tar --no-same-owner -zxvf /opt/software/kafka_2.12-2.4.1.tgz -C /opt/module/

tar --no-same-owner -zxvf /opt/software/zookeeper-3.4.6.tar.gz -C /opt/module/

2.配置好zookeeper，其中zookeeper使用集群模式，分别将master、slave1、slave2作为其节点（若zookpeer已安装配置好，则无需再次配置），配置好Kafka的环境变量，使用kafka-server-start.sh --version查看Kafka的版本内容，并将命令和结果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下；

第二步

mv /opt/module/zookeeper-3.4.6.tar.gz zookeeper

mv /opt/module/kafka_2.12-2.0.0.tgz kafka

3.完善其他配置并分发Kafka文件到slave1、slave2中，并在每个节点启动Kafka，创建Topic，其中Topic名称为installtopic，分区数为2，副本数为2，将创建命令和创建成果截图粘贴至客户端桌面【Release\任务A提交结果.docx】中对应的任务序号下。

cp /opt/module/zookeeper/conf/zoo_sample.cfg zoo.cfg

在配置文件新增下列内容

dataDir=/opt/module/zookeeper/data

server.1=hadoop1:2888:3888

server.2=hadoop2:2888:3888

server.3=hadoop3:2888:3888

mkdir /opt/module/zookeeper/data

scp -r /opt/module/zookeeper hadoop2:/opt/module/

scp -r /opt/module/zookeeper hadoop3:/opt/module/

在三个虚拟机内创建myid文件，并启动zk。

echo 1 > /opt/module/zookeeper/data/myid

启动

 zkServer.sh start

编辑

vim /opt/module/kafka/config/server.properties

改动以下数据：（三个节点都要改，第一个黄色数字要分别改成1/2/3，第二个要修改主机名）

broker.id=0

listeners=PLAINTEXT://hadoop1:9092

log.dirs=/opt/module/kafka/logs

启动kafka

kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties

创建topic 

kafka-topics.sh --create --zookeeper hadoop1:2181 --replication-factor 2 --partitions 2 --topic installtopic

#hadoop1是自己的主机名

查询topic 

kafka-topics.sh --list --zookeeper hadoop1:2181