windows下 idea本地运行sparkStreaming + kafka 测试程序

最新推荐文章于 2023-01-09 10:14:22 发布

fengnzx

最新推荐文章于 2023-01-09 10:14:22 发布

阅读量1.3k

点赞数 2

分类专栏：大数据 # spark 文章标签： sparkStreming + kafka windows本地运行spark+kafka

本文链接：https://blog.csdn.net/qq_37575217/article/details/89402279

版权

1. 安装zookeeper

1.下载zookeeper：http://zookeeper.apache.org/releases.html

2.解压，将conf文件夹下zoo_sample.cfg重命名为zoo.cfg，修改其中的配置：

#修改配置项：
dataDir=D:/dzy/envpath/zookeeper-3.4.14/data
#增加配置项：
dataLogDir=D:/dzy/envpath/zookeeper-3.4.14/logs

3.添加环境变量ZOOKEEPER_HOME=D:\envpath\zookeeper-3.4.6；将%ZOOKEEPER_HOME%\bin添加到Path

4.启动zookeeper，cmd输入：zkServer

2.安装kafka

1.下载，解压：http://kafka.apache.org/downloads.html

2.修改config文件夹下的server.properties，修改日志路径的配置

log.dirs=D:/dzy/envpath/kafka_2.11-2.1.1/logs

3.启动kafka服务：

.\bin\windows\kafka-server-start.bat .\config\server.properties

4.使用kafka及常用命令：

#创建主题：进入kafka安装目录的\bin\windows下按shift +右键，选择“在此处打开命令窗口”，输入如下命令并回车：
kafka-topics.bat  --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

#创建producer 及consumer来测试服务器
#在kafka安装目录的\bin\windows启动新的命令窗口，producer和consumer需要分别启动命令窗口。
#启动producter，启动命令如下：
kafka-console-producer.bat  --broker-list localhost:9092  --topic test

#启动consumer，启动命令如下：
kafk