安装kafka

1.下载kafka，地址如下：

https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.6.0/kafka_2.12-2.6.0.tgz 

2. 上传kafka

3.解压kafka到/usr/local目录，使用以下命令：

sudo tar -xvf kafka_2.12-2.6.0.tgz -C /usr/local/

4.重命名解压后的目录为kafka，使用以下命令：

sudo mv /usr/local/kafka_2.12-2.6.0/ /usr/local/kafka

5.修改kafka目录的创建者为hadoop，使用以下命令：

sudo chown -R hadoop /usr/local/kafka/

6.修改kafka的配置文件，执行以下操作：

a) 编辑config/server.properties文件，使用以下命令：

vim /usr/local/kafka/config/server.properties

b) 修改第21行为以下内容：

broker.id=1

c) 修改第123行为以下内容：

zookeeper.connect=master:2181,slave1:2181,slave2:2181

7.修改环境变量，执行以下操作：

a) 编辑环境变量，使用以下命令：

vim /home/hadoop/.bashrc

b) 在文件最后追加以下内容：

export KAFKA_HOME=/usr/local/kafka
export PATH=${KAFKA_HOME}/bin:$PATH

c) 刷新环境变量，使用以下命令：

source /home/hadoop/.bashrc

8.发送kafka给slave1执行以下操作：

a) 在slave1创建/usr/local/kafka目录，使用以下命令：

sudo mkdir /usr/local/kafka

b) 修改kafka目录的创建者为hadoop，使用以下命令：

sudo chown -R hadoop /usr/local/kafka/

c) 在master发送kafka目录给slave1，使用以下命令：

scp -r /usr/local/kafka/* hadoop@slave1:/usr/local/kafka/

d) 在slave1修改/usr/local/kafka/config/server.properties文件中的broker.id=2

e) 在master发送环境变量给slave1，使用以下命令：

scp /home/hadoop/.bashrc  hadoop@slave2:/home/hadoop/

f) 在slave1刷新环境变量，使用以下命令：

source /home/hadoop/.bashrc

9.参考第8步，发送kafka给slave2，并修改/usr/local/kafka/config/server.properties文件中的broker.id=3

kafka的使用步骤如下：

1.启动3个节点上的Zookeeper，在3个节点分别执行以下命令：

zkServer.sh start

2.启动3个节点上的kafka，在3个节点分别执行以下命令：

kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties &

3.通过jps命令，查看kafka的进程，如下图所示：

4.创建一个名字为spark，分区数为3，备份数为3的主题，在任意节点执行以下命令：

kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 3 --partitions 3 --topic spark

5.查看kafka目前已有的主题，使用以下命令：

kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181

6.启动kafka的控制台生产者，向spark主题写入数据，在任意节点执行以下命令：

kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic spark

7.启动kafka的控制台消费者，从spark主题读取数据，在任意节点执行以下命令：

kafka-console-consumer.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --topic spark --from-beginning

8.通过生产者向kafka的spark主题写入一些消息，并查看是否能消费到数据