(一)Flink+Zookeeper+Kafka 安装启动
安装Flink和Kafka,都要求本地有jdk的环境,安装jdk具体步骤可以看
https://www.jianshu.com/p/2d60d5f7ba46
一、Flink的下载安装
下载地址:https://flink.apache.org/downloads.html
下载版本:flink-1.9.1-bin-scala_2.11.tgz
1、Windows安装Flink
下载后解压到 D:\flink\flink-1.9.1 目录
执行 bin 目录下的 start-cluster.bat 文件启动 Flink
访问 http://localhost:8081/ 打开Flink的webUI界面
2、Linux安装Flink
把下载好的flink压缩包通过FileZilla传到虚拟机中(/home/flink)
命令:tar -xzvf flink-1.9.1-bin-scala_2.11.tgz
解压缩,在/flink下,输入命令:vim /etc/profile
进入编辑页面,配置环境变量
export FLINK_HOME=/home/flink/flink-1.9.1
export PATH=$PATH:$FLINK_HOME/bin
让profile文件生效 ,命令:source /etc/profile
启动flink打开webUI界面
(1)启动flink,命令:./bin/start-cluster.sh
(2)查看防火墙状态,命令:firewall-cmd --state
,关闭防火墙,命令:service firewalld stop
(3)在http://虚拟机IP地址+:8081查看WebUI界面
二、Kafka的下载安装
1、Zookeeper的下载安装启动
安装Kafka首先要下载安装Zookeeper
(1)下载地址:https://zookeeper.apache.org/releases.html#download
下载版本:apache-zookeeper-3.5.8-bin.tar.gz
(2)解压文件到D:\zookeeper\apache-zookeeper-3.5.8-bin
(3)进入D:\zookeeper\apache-zookeeper-3.5.8-bin,将"zoo_sample.cfg"重命名为"zoo.cfg",打开zoo.cfg,修改:
dataDir=/tmp/zookeeper 为 dataDir=D:/zookeeper/apache-zookeeper-3.5.8-bin/data或 dataDir=D:\zookeeper\apache-zookeeper-3.5.8-bin\data
并注意zoo.cfg文件中Zookeeper端口是否为默认端口2181
(4)在系统环境变量中添加:
a.系统变量中添加ZOOKEEPER_HOME=D:\zookeeper\apache-zookeeper-3.5.8-bin
b.编辑系统变量中的path变量,增加%ZOOKEEPER_HOME%\bin
(5)打开cmd窗口,输入zkserver,运行Zookeeper,运行结果如下
cmd 窗口不要关闭
2、Kafka的下载安装
(1)下载地址:http://kafka.apache.org/downloads.html
下载版本:Scala 2.11 - kafka_2.11-2.4.1.tgz (asc, sha512)
(2)解压文件到D:\kafka
(3)进入kafka\config打开 server.properties,修改log.dirs=/tmp/kafka-logs 为 log.dirs=D:/kafka/logs
3、Kafka的使用
(1)在kafka目录cmd,输入:.\bin\windows\kafka-server-start.bat .\config\server.properties
启动kafka
cmd 窗口不要关闭
(2)创建TOPICS
在D:\kafka\bin\windows目录cmd,输入kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
(3)打开一个PRODUCER
在D:\kafka\bin\windows目录cmd,输入kafka-console-producer.bat --broker-list localhost:9092 --topic test
(4)打开一个CONSUMER
在D:\kafka\bin\windows目录cmd,输入kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
(5)测试
如下图,consumer成功接收到了producer产生的消息
4、遇到的问题
(1)用Kafka自带的Zookeeper
在kafka目录cmd,输入:.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
启动kafka自带的zookeeper
在kafka目录cmd,输入:.\bin\windows\kafka-server-start.bat .\config\server.properties
启动kafka,出现如下错误
(2)删除topic及其问题
想要删除一个topic,在kafka目录cmd,输入.\bin\windows\kafka-topics.bat --delete --zookeeper 【zookeeper server】 --topic 【topic name】
但是我这里执行.\bin\windows\kafka-topics.bat --delete --zookeeper 127.0.0.1:2181 --topic test
删除掉topic test以后,直接导致kafka挂掉,而且重启也失败,报出下面异常
INFO Stopping serving logs in dir /tmp/kafka-logs (kafka.log.LogManager)
ERROR Shutdown broker because all log dirs in /tmp/kafka-logs have failed
看到有很多人也遇到过删除掉topic以后的这个问题,我这里删除了日志也没用,后来就重装了一边zookeeper和kafka,
也有人说如果想删掉topic,可以在kafka-manager里删除,不会造成影响
三、参考链接
https://www.liujiajia.me/2019/9/4/install-and-run-flink-on-windows
https://www.cnblogs.com/lnice/p/9668750.html
https://www.cnblogs.com/xiang–liu/p/12485758.html
https://blog.csdn.net/Beyond_F4/article/details/97143081