(一)Flink+Zookeeper+Kafka 安装

安装Flink和Kafka,都要求本地有jdk的环境,安装jdk具体步骤可以看
https://www.jianshu.com/p/2d60d5f7ba46

一、Flink的下载安装

下载地址:https://flink.apache.org/downloads.html
下载版本:flink-1.9.1-bin-scala_2.11.tgz

1、Windows安装Flink

下载后解压到 D:\flink\flink-1.9.1 目录
执行 bin 目录下的 start-cluster.bat 文件启动 Flink


在这里插入图片描述
访问 http://localhost:8081/ 打开Flink的webUI界面
在这里插入图片描述

2、Linux安装Flink

把下载好的flink压缩包通过FileZilla传到虚拟机中(/home/flink)
命令:tar -xzvf flink-1.9.1-bin-scala_2.11.tgz 解压缩,在/flink下,输入命令:vim /etc/profile 进入编辑页面,配置环境变量

export FLINK_HOME=/home/flink/flink-1.9.1
export PATH=$PATH:$FLINK_HOME/bin

让profile文件生效 ,命令:source /etc/profile

启动flink打开webUI界面
(1)启动flink,命令:./bin/start-cluster.sh
(2)查看防火墙状态,命令:firewall-cmd --state,关闭防火墙,命令:service firewalld stop
(3)在http://虚拟机IP地址+:8081查看WebUI界面

二、Kafka的下载安装

1、Zookeeper的下载安装启动

安装Kafka首先要下载安装Zookeeper
(1)下载地址:https://zookeeper.apache.org/releases.html#download
         下载版本:apache-zookeeper-3.5.8-bin.tar.gz
(2)解压文件到D:\zookeeper\apache-zookeeper-3.5.8-bin
(3)进入D:\zookeeper\apache-zookeeper-3.5.8-bin,将"zoo_sample.cfg"重命名为"zoo.cfg",打开zoo.cfg,修改:
         dataDir=/tmp/zookeeper 为 dataDir=D:/zookeeper/apache-zookeeper-3.5.8-bin/data或 dataDir=D:\zookeeper\apache-zookeeper-3.5.8-bin\data
         并注意zoo.cfg文件中Zookeeper端口是否为默认端口2181
(4)在系统环境变量中添加:
a.系统变量中添加ZOOKEEPER_HOME=D:\zookeeper\apache-zookeeper-3.5.8-bin
b.编辑系统变量中的path变量,增加%ZOOKEEPER_HOME%\bin
(5)打开cmd窗口,输入zkserver,运行Zookeeper,运行结果如下
cmd 窗口不要关闭cmd 窗口不要关闭

2、Kafka的下载安装

(1)下载地址:http://kafka.apache.org/downloads.html
         下载版本:Scala 2.11 - kafka_2.11-2.4.1.tgz (asc, sha512)
(2)解压文件到D:\kafka
在这里插入图片描述
(3)进入kafka\config打开 server.properties,修改log.dirs=/tmp/kafka-logs 为 log.dirs=D:/kafka/logs

3、Kafka的使用

(1)在kafka目录cmd,输入:.\bin\windows\kafka-server-start.bat .\config\server.properties 启动kafka
在这里插入图片描述cmd 窗口不要关闭

(2)创建TOPICS
         在D:\kafka\bin\windows目录cmd,输入kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
在这里插入图片描述
(3)打开一个PRODUCER
         在D:\kafka\bin\windows目录cmd,输入kafka-console-producer.bat --broker-list localhost:9092 --topic test
在这里插入图片描述
(4)打开一个CONSUMER
         在D:\kafka\bin\windows目录cmd,输入kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
在这里插入图片描述
(5)测试
         如下图,consumer成功接收到了producer产生的消息
在这里插入图片描述

4、遇到的问题

(1)用Kafka自带的Zookeeper
         在kafka目录cmd,输入:.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties 启动kafka自带的zookeeper
在这里插入图片描述
在这里插入图片描述
         在kafka目录cmd,输入:.\bin\windows\kafka-server-start.bat .\config\server.properties 启动kafka,出现如下错误
在这里插入图片描述
(2)删除topic及其问题
想要删除一个topic,在kafka目录cmd,输入.\bin\windows\kafka-topics.bat --delete --zookeeper 【zookeeper server】 --topic 【topic name】
但是我这里执行.\bin\windows\kafka-topics.bat --delete --zookeeper 127.0.0.1:2181 --topic test删除掉topic test以后,直接导致kafka挂掉,而且重启也失败,报出下面异常
INFO Stopping serving logs in dir /tmp/kafka-logs (kafka.log.LogManager)
ERROR Shutdown broker because all log dirs in /tmp/kafka-logs have failed
看到有很多人也遇到过删除掉topic以后的这个问题,我这里删除了日志也没用,后来就重装了一边zookeeper和kafka,
也有人说如果想删掉topic,可以在kafka-manager里删除,不会造成影响

三、参考链接

https://www.liujiajia.me/2019/9/4/install-and-run-flink-on-windows
https://www.cnblogs.com/lnice/p/9668750.html
https://www.cnblogs.com/xiang–liu/p/12485758.html
https://blog.csdn.net/Beyond_F4/article/details/97143081

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值