介绍
一个方便操作Flink-SQL的工具
准备环境、程序和依赖
Flink 1.12 下载地址
这里下载的事scala 2.11的版本
Kafka 2.12-2.5.0 下载地址
这里没有去下载zookeeper,因为kafka里自带zookeeper,所以就直接用这个,别问为啥,问就是为了省事。
另外为啥是这个版本,不是最新,别问,问就是因为本地就是这个,懒得下载最新的了。
Scala 2.11 下载地址
根据自己的环境进行下载,本人是Mac下载的
scala-2.12.12.tgz
Flink-streaming-platform-web 下载地址
另外注意这里的版本,因为都会影响后续Flink进行依赖lib时候的版本号,对不上,可能会出现ClassNotFound等问题,很凸(艹皿艹 )
构建Scala环境
为啥构建这个呢,因为没构建这个环境的时候,程序运行的时候出现了错误,我按照提示进行增加本地的Scala环境,所以这里还是记录一下。
设置环境变量vim ~/.bash_profile
export SCALA_HOME=/Users/iOLO/dev/OpenSource/scala-2.11.12
export PATH=$SCALA_HOME/bin:$PATH
别忘了生效命令,source ~/.bash_profile
验证必备,验证命令
$ scala -version
Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL
$ scala
Welcome to Scala 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_171).
Type in expressions for evaluation. Or try :help.
scala>
构建Flink环境并启动
下载好Flink的压缩包之后去解压
注意这里规定好一个目录,一会的web工具也放在一个文件夹下,别问为啥,问了我也不知道。
修改一下Flink配置文件,这里就直接贴出来我修改的地方,几乎没有动,因为我不太懂,所以能用就行
# 这是运行任务的数量,默认是1,这里改成是10,别问,问就是因为我喜欢
taskmanager.numberOfTaskSlots: 10
# 这里是checkpoint存储的问题,分别由内存,fs,rockDB,我这里的用的是内存,不过好像默认是就是内存
# 我也不太懂,就改了改
state.backend: jobmanager
# 这里群里发的配置,我也不知道是啥,就直接改了
jobmanager.execution.failover-strategy: region
# 这个是关键,是啥作用不知道,但是web工具备注上说明这个需要改成这个
classloader.resolve-order: parent-first