kafka安装以及与spark集成与测试

---

目录

一、Zookeeper安装

二、kafka安装

1、下载地址

2、kafka解压安装并移动

3、环境变量配置

4、修改配置文件

5、启动

三、kafka和spark集成

1、下载安装包

2、kafka-clients包复制

四、kafka实例

1、创建输入主题：streams-plaintext-input

2、创建输出主题：streams-wordcount-output

3、Wordcount 应用程序测试

1）启动 Wordcount 应用程序

2）启动控制台生产者，向输入主题中写入数据：

3）使用控制台消费者，从输出主题中读取结果：

---

一、Zookeeper安装

参考上篇写的zookeeper安装文章。

ZooKeeper安装与配置_IMezZ的博客-CSDN博客一、ZooKeeper安装和配置1、zookeeper下载ZooKeeper官网https://zookeeper.apache.org/本文用的是zookeeper-3.4.8.tar.gz，下载 zookeeper-3.4.8.tar.gz。上传至主机/opt目录下2、安装和配置安装模式有单机和集群两种，这是采用集群模式，单机模式这里不再赘述。解压tar -zxvf zookeeper-3.4.8.tar.gz目录重命名mv zookeeper-3.4.8https://blog.csdn.net/qq_36249352/article/details/123850567?spm=1001.2014.3001.5501

二、kafka安装

1、下载地址

http://kafka.apache.org/downloadshttps://links.jianshu.com/go?to=http%3A%2F%2Fkafka.apache.org%2Fdownloads

        安装的 Kafka 版本为 kafka_2.11-2.4.0.tgz，其中 2.11 代表 Scala 版本， 2.4.0 表示 Kafka 的版本。

2、kafka解压安装并移动

tar xvf kafka_2.11-2.4.0.tgz
mv kafka_2.11-2.4.0/ /usr/local/kafka/

3、环境变量配置

vim ~/.basbrc

export KAFKA_HOME=/usr/local/kafka/
PATH=\$PATH:\$JAVA_HOME/bin:\$JRE_HOME/bin:\$ZOOKEEPER_HOME/bin:\$KAFKA_HOME/bin

4、修改配置文件

        修改$KAFKA_HOME/config 目录下的 server.properties文件，为了便于后 续集群环境搭建的配置， 需要保证同一个集群下