ZooKeeper、Kafka集群搭配

1.首先在Linux本地，新建/data/kafka1目录，用于存放实验所需文件。

1. mkdir -p /data/kafka1  

切换目录到/data/kafka1下，使用wget命令，下载所需安装包scala-2.10.4.tgz，kafka_2.10-0.8.2.2.tgz以及zookeeper-3.4.5-cdh5.4.5.tar.gz。

1. cd /data/kafka1  
2. wget http://172.16.103.12:60000/allfiles/kafka1/scala-2.10.4.tgz  
3. wget http://172.16.103.12:60000/allfiles/kafka1/kafka_2.10-0.8.2.2.tgz  
4. wget http://172.16.103.12:60000/allfiles/kafka1/zookeeper-3.4.5-cdh5.4.5.tar.gz  

2.安装Scala。

切换到/data/kafka1目录下，将Scala安装包scala-2.10.4.tgz解压到/apps目录下，并将解压后的目录，重命名为scala。

1. cd /data/kafka1  
2. tar -xzvf /data/kafka1/scala-2.10.4.tgz -C /apps/  
3. cd /apps  
4. mv /apps/scala-2.10.4/ /apps/scala  

使用vim打开用户环境变量。

1. sudo vim ~/.bashrc  

将以下Scala的路径信息，追加到用户环境变量中。

1. #scala  
2. export SCALA_HOME=/apps/scala  
3. export PATH=$SCALA_HOME/bin:$PATH  

执行source命令，使环境变量生效。

1. source ~/.bashrc  

3.切换到/data/kafka1目录下，将kafka的压缩包kafka_2.10-0.8.2.2.tgz解压到/apps目录下，并将解压缩后的目录，重命名为kafka。

1. cd /data/kafka1  
2. tar -xzvf /data/kafka1/kafka_2.10-0.8.2.2.tgz  -C  /apps/  

1. cd /apps  
2. mv /apps/kafka_2.10-0.8.2.2/ /apps/kafka  

使用vim打开用户环境变量。

1. sudo vim ~/.bashrc  

将以下Kafka的路径信息，追加到用户环境变量中。

1. #kafka  
2. export KAFKA_HOME=/apps/kafka  
3. export PATH=$KAFKA_HOME/bin:$PATH  

执行source命令，使环境变量生效。

1. source ~/.bashrc  

4.由于Kafka的部分数据需要存储到ZooKeeper中，所以必须额外安装ZooKeeper，或使用Kafka安装包自带的ZooKeeper程序。

首先来演示使用外置的ZooKeeper程序。

将/data/kafka1目录下zookeeper-3.4.5-cdh5.4.5.tar.gz，解压缩到/apps目录下，并将解压缩的目录，重命名为zookeeper。

1. cd /data/kafka1  
2. tar -xzvf /data/kafka1/zookeeper-3.4.5-cdh5.4.5.tar.gz  -C  /apps/  

1. cd /apps  
2. mv /apps/zookeeper-3.4.5-cdh5.4.5/ /apps/zookeeper  

使用vim打开用户环境变量。

1. sudo vim ~/.bashrc  

将以下Zookeeper的路径信息，追加到用户环境变量中。

1. #zookeeper  
2. export ZOOKEEPER_HOME=/apps/zookeeper  
3. export PATH=$ZOOKEEPER_HOME/bin:$PATH  

执行source命令，使环境变量生效。

1. source ~/.bashrc  

修改ZooKeeper的配置文件，将ZooKeeper配置为单机模式。

切换到ZooKeeper的配置文件所在目录/apps/zookeeper/conf下，将zoo_sample.cfg重命名为zoo.cfg

1. cd /apps/zookeeper/conf/  
2. mv /apps/zookeeper/conf/zoo_sample.cfg /apps/zookeeper/conf/zoo.cfg  

使用vim打开zoo.cfg文件，并修改dataDir项内容

1. vim zoo.cfg  

由：

1. dataDir=/tmp/zookeeper  

改为：

1. dataDir=/data/tmp/zookeeper-outkafka/data  

这里的/data/tmp/zookeeper-outkafka/data目录需要提前创建。

1. mkdir -p /data/tmp/zookeeper-outkafka/data  

启动ZooKeeper，并查看ZooKeeper的运行状态。

1. cd /apps/zookeeper/bin  
2. ./zkServer.sh start  

1. ./zkServer.sh status  

关闭ZooKeeper。

1. cd /apps/zookeeper/bin  
2. ./zkServer.sh stop  

5.使用Kafka内置的ZooKeeper，切换目录到/apps/kafka/config目录下。

1. cd /apps/kafka/config  

这里放置着与ZooKeeper的配置文件zoo.cfg功能相似的配置文件zookeeper.properties，使用vim打开zookeeper.properties配置文件。

1. vim zookeeper.properties  

将dataDir目录修改为/data/tmp/zookeeper-inkafka/data目录。

1. dataDir=/data/tmp/zookeeper-inkafka/data  

这里的/data/tmp/zookeeper-inkafka/data目录，须提前创建。

1. mkdir -p /data/tmp/zookeeper-inkafka/data  

下面启动ZooKeeper服务，切换目录到/apps/kafka目录下，在kafka的bin目录下放有ZooKeeper的启动脚本，按Ctrl+c退出。

1. cd /apps/kafka  
2. bin/zookeeper-server-start.sh config/zookeeper.properties &  

末尾的&符号，会将zookeeper-server-start.sh放到后台执行。输入jps

1. jps  

查看ZooKeeper的进程QuorumPeerMain

1. zhangyu@8461bfd6a537:/apps/kafka$ jps  
2. 375 Jps  
3. 293 QuorumPeerMain  
4. zhangyu@8461bfd6a537:/apps/kafka$  

下面关闭ZooKeeper进程

1. cd /apps/kafka  
2. bin/zookeeper-server-stop.sh stop  

6.以上两种ZooKeeper的使用方式，可以根据自己需要进行选择。后续课程，我们会默认使用外置的ZooKeeper，对Kafka数据进行管理。

至此Kafka已安装完毕。

接下来对Kafka进行测试，检测是否可以正常运行。

7.切换到/apps/zookeeper目录下，启动ZooKeeper服务。

1. cd /apps/zookeeper  
2. bin/zkServer.sh start  

8.切换到/apps/kafka/config目录下，这里放置了Kafka的相关的配置文件。使用vim打开Kafka服务的配置文件server.properties。

1. cd /apps/kafka/config  
2. vim server.properties  

server.properties文件中的配置项包括：服务器基本配置，socket服务设置，log日志的配置，log刷新策略，log保留策略，ZooKeeper配置。

服务器基本配置，主要包括当前节点的编号。

ZooKeeper配置中，包括ZooKeeper服务的IP和端口号等。

我们修改zookeeper.connect项的值为：

1. zookeeper.connect=localhost:2181  

这里的IP和端口，是ZooKeeper发送接收消息使用的端口。IP必须为ZooKeeper服务的IP，我们设置为localhost，端口必须和/apps/zookeeper/conf下zoo.cfg中的clientPort端口一致。

9.切换目录到/apps/kafka目录下，启动Kafka服务。启动Kafka服务时，会读取Kafka配置文件目录下的server.properties文件。

1. cd /apps/kafka  
2. bin/kafka-server-start.sh config/server.properties &  

这样启动了Kafka的server，并在后端运行。

10.另外开启一个窗口，调用/apps/kafka/bin目录下kafka-topic.sh脚本创建一个topic。

1. cd /apps/kafka  
2. bin/kafka-topics.sh \  
3. --create \  
4. --zookeeper localhost:2181 \  
5. --replication-factor 1 \  
6. --topic sayaword \  
7. --partitions 1  

kafka-topic.sh命令后，需要添加一些参数，比如ZooKeeper的配置，主题名称等。

下面查看Kafka中，都有哪些topic

1. bin/kafka-topics.sh  --list  --zookeeper  localhost:2181  

11.调用/apps/kafka/bin目录下kafka-console-producer.sh，来生产一些消息，producer也就是生产者。

1. bin/kafka-console-producer.sh --broker-list localhost:9092 --topic sayaword  

这里的localhost为Kafka的IP，9092为broker节点的端口。用户可以在console界面上，输入信息，交给producer进行处理，并发给consumer。

12.再令开启一个窗口，调用bin目录下kafka-console-consumer.sh，启动consumer，consumer作为消费者，用来消费数据。

1. cd /apps/kafka  
2. bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic sayaword --from-beginning  

kafka-console-consumer.sh依然需要加一些参数，比如ZooKeeper的IP及端口、主题名称、读取数据位置等。

13.在执行kafka-console-producer.sh命令的界面中，随便输入几行文字，按回车。可以看到在consumer端，会将同样的内容，输出出来。

producer端：

1.首先在Linux本地，新建/data/kafka1目录，用于存放实验所需文件。

1. mkdir -p /data/kafka1  

切换目录到/data/kafka1下，使用wget命令，下载所需安装包scala-2.10.4.tgz，kafka_2.10-0.8.2.2.tgz以及zookeeper-3.4.5-cdh5.4.5.tar.gz。

1. cd /data/kafka1  
2. wget http://172.16.103.12:60000/allfiles/kafka1/scala-2.10.4.tgz  
3. wget http://172.16.103.12:60000/allfiles/kafka1/kafka_2.10-0.8.2.2.tgz  
4. wget http://172.16.103.12:60000/allfiles/kafka1/zookeeper-3.4.5-cdh5.4.5.tar.gz  

2.安装Scala。

切换到/data/kafka1目录下，将Scala安装包scala-2.10.4.tgz解压到/apps目录下，并将解压后的目录，重命名为scala。

1. cd /data/kafka1  
2. tar -xzvf /data/kafka1/scala-2.10.4.tgz -C /apps/  
3. cd /apps  
4. mv /apps/scala-2.10.4/ /apps/scala  

使用vim打开用户环境变量。

1. sudo vim ~/.bashrc  

将以下Scala的路径信息，追加到用户环境变量中。

1. #scala  
2. export SCALA_HOME=/apps/scala  
3. export PATH=$SCALA_HOME/bin:$PATH  

执行source命令，使环境变量生效。

1. source ~/.bashrc  

3.切换到/data/kafka1目录下，将kafka的压缩包kafka_2.10-0.8.2.2.tgz解压到/apps目录下，并将解压缩后的目录，重命名为kafka。

1. cd /data/kafka1  
2. tar -xzvf /data/kafka1/kafka_2.10-0.8.2.2.tgz  -C  /apps/  

1. cd /apps  
2. mv /apps/kafka_2.10-0.8.2.2/ /apps/kafka  

使用vim打开用户环境变量。

1. sudo vim ~/.bashrc  

将以下Kafka的路径信息，追加到用户环境变量中。

1. #kafka  
2. export KAFKA_HOME=/apps/kafka  
3. export PATH=$KAFKA_HOME/bin:$PATH  

执行source命令，使环境变量生效。

1. source ~/.bashrc  

4.由于Kafka的部分数据需要存储到ZooKeeper中，所以必须额外安装ZooKeeper，或使用Kafka安装包自带的ZooKeeper程序。

首先来演示使用外置的ZooKeeper程序。

将/data/kafka1目录下zookeeper-3.4.5-cdh5.4.5.tar.gz，解压缩到/apps目录下，并将解压缩的目录，重命名为zookeeper。

1. cd /data/kafka1  
2. tar -xzvf /data/kafka1/zookeeper-3.4.5-cdh5.4.5.tar.gz  -C  /apps/  

1. cd /apps  
2. mv /apps/zookeeper-3.4.5-cdh5.4.5/ /apps/zookeeper  

使用vim打开用户环境变量。

1. sudo vim ~/.bashrc  

将以下Zookeeper的路径信息，追加到用户环境变量中。

1. #zookeeper  
2. export ZOOKEEPER_HOME=/apps/zookeeper  
3. export PATH=$ZOOKEEPER_HOME/bin:$PATH  

执行source命令，使环境变量生效。

1. source ~/.bashrc  

修改ZooKeeper的配置文件，将ZooKeeper配置为单机模式。

切换到ZooKeeper的配置文件所在目录/apps/zookeeper/conf下，将zoo_sample.cfg重命名为zoo.cfg

1. cd /apps/zookeeper/conf/  
2. mv /apps/zookeeper/conf/zoo_sample.cfg /apps/zookeeper/conf/zoo.cfg  

使用vim打开zoo.cfg文件，并修改dataDir项内容

1. vim zoo.cfg  

由：

1. dataDir=/tmp/zookeeper  

改为：

1. dataDir=/data/tmp/zookeeper-outkafka/data  

这里的/data/tmp/zookeeper-outkafka/data目录需要提前创建。

1. mkdir -p /data/tmp/zookeeper-outkafka/data  

启动ZooKeeper，并查看ZooKeeper的运行状态。

1. cd /apps/zookeeper/bin  
2. ./zkServer.sh start  

1. ./zkServer.sh status  

关闭ZooKeeper。

1. cd /apps/zookeeper/bin  
2. ./zkServer.sh stop  

5.使用Kafka内置的ZooKeeper，切换目录到/apps/kafka/config目录下。

1. cd /apps/kafka/config  

这里放置着与ZooKeeper的配置文件zoo.cfg功能相似的配置文件zookeeper.properties，使用vim打开zookeeper.properties配置文件。

1. vim zookeeper.properties  

将dataDir目录修改为/data/tmp/zookeeper-inkafka/data目录。

1. dataDir=/data/tmp/zookeeper-inkafka/data  

这里的/data/tmp/zookeeper-inkafka/data目录，须提前创建。

1. mkdir -p /data/tmp/zookeeper-inkafka/data  

下面启动ZooKeeper服务，切换目录到/apps/kafka目录下，在kafka的bin目录下放有ZooKeeper的启动脚本，按Ctrl+c退出。

1. cd /apps/kafka  
2. bin/zookeeper-server-start.sh config/zookeeper.properties &  

末尾的&符号，会将zookeeper-server-start.sh放到后台执行。输入jps

1. jps  

查看ZooKeeper的进程QuorumPeerMain

1. zhangyu@8461bfd6a537:/apps/kafka$ jps  
2. 375 Jps  
3. 293 QuorumPeerMain  
4. zhangyu@8461bfd6a537:/apps/kafka$  

下面关闭ZooKeeper进程

1. cd /apps/kafka  
2. bin/zookeeper-server-stop.sh stop  

6.以上两种ZooKeeper的使用方式，可以根据自己需要进行选择。后续课程，我们会默认使用外置的ZooKeeper，对Kafka数据进行管理。

至此Kafka已安装完毕。

接下来对Kafka进行测试，检测是否可以正常运行。

7.切换到/apps/zookeeper目录下，启动ZooKeeper服务。

1. cd /apps/zookeeper  
2. bin/zkServer.sh start  

8.切换到/apps/kafka/config目录下，这里放置了Kafka的相关的配置文件。使用vim打开Kafka服务的配置文件server.properties。

1. cd /apps/kafka/config  
2. vim server.properties  

server.properties文件中的配置项包括：服务器基本配置，socket服务设置，log日志的配置，log刷新策略，log保留策略，ZooKeeper配置。

服务器基本配置，主要包括当前节点的编号。

ZooKeeper配置中，包括ZooKeeper服务的IP和端口号等。

我们修改zookeeper.connect项的值为：

1. zookeeper.connect=localhost:2181  

这里的IP和端口，是ZooKeeper发送接收消息使用的端口。IP必须为ZooKeeper服务的IP，我们设置为localhost，端口必须和/apps/zookeeper/conf下zoo.cfg中的clientPort端口一致。

9.切换目录到/apps/kafka目录下，启动Kafka服务。启动Kafka服务时，会读取Kafka配置文件目录下的server.properties文件。

1. cd /apps/kafka  
2. bin/kafka-server-start.sh config/server.properties &  

这样启动了Kafka的server，并在后端运行。

10.另外开启一个窗口，调用/apps/kafka/bin目录下kafka-topic.sh脚本创建一个topic。

1. cd /apps/kafka  
2. bin/kafka-topics.sh \  
3. --create \  
4. --zookeeper localhost:2181 \  
5. --replication-factor 1 \  
6. --topic sayaword \  
7. --partitions 1  

kafka-topic.sh命令后，需要添加一些参数，比如ZooKeeper的配置，主题名称等。

下面查看Kafka中，都有哪些topic

1. bin/kafka-topics.sh  --list  --zookeeper  localhost:2181  

11.调用/apps/kafka/bin目录下kafka-console-producer.sh，来生产一些消息，producer也就是生产者。

1. bin/kafka-console-producer.sh --broker-list localhost:9092 --topic sayaword  

这里的localhost为Kafka的IP，9092为broker节点的端口。用户可以在console界面上，输入信息，交给producer进行处理，并发给consumer。

12.再令开启一个窗口，调用bin目录下kafka-console-consumer.sh，启动consumer，consumer作为消费者，用来消费数据。

1. cd /apps/kafka  
2. bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic sayaword --from-beginning  

kafka-console-consumer.sh依然需要加一些参数，比如ZooKeeper的IP及端口、主题名称、读取数据位置等。

13.在执行kafka-console-producer.sh命令的界面中，随便输入几行文字，按回车。可以看到在consumer端，会将同样的内容，输出出来。

producer端：

consumer端：

14.退出测试。

在kafka-console-consumer.sh、kafka-console-producer.sh及kafka-server-start.sh在命令行界面，执行Ctrl + c，分别退出consumer，producer及server。

切换目录到/apps/zookeeper/bin目录下，停止ZooKeeper。

1. cd /apps/zookeeper/bin  
2. ./zkServer.sh stop  

至此，Kafka的安装与测试都已完毕！

consumer端：

14.退出测试。

在kafka-console-consumer.sh、kafka-console-producer.sh及kafka-server-start.sh在命令行界面，执行Ctrl + c，分别退出consumer，producer及server。

切换目录到/apps/zookeeper/bin目录下，停止ZooKeeper。

1. cd /apps/zookeeper/bin  
2. ./zkServer.sh stop  

至此，Kafka的安装与测试都已完毕！