《小鑫发现》之Flink-SQL管理工具flink-streaming-platform-web

介绍

一个方便操作Flink-SQL的工具

准备环境、程序和依赖

Flink 1.12 下载地址

这里下载的事scala 2.11的版本

Kafka 2.12-2.5.0 下载地址

这里没有去下载zookeeper,因为kafka里自带zookeeper,所以就直接用这个,别问为啥,问就是为了省事。
另外为啥是这个版本,不是最新,别问,问就是因为本地就是这个,懒得下载最新的了。

Scala 2.11 下载地址

根据自己的环境进行下载,本人是Mac下载的scala-2.12.12.tgz

Flink-streaming-platform-web 下载地址

另外注意这里的版本,因为都会影响后续Flink进行依赖lib时候的版本号,对不上,可能会出现ClassNotFound等问题,很凸(艹皿艹 )

构建Scala环境

为啥构建这个呢,因为没构建这个环境的时候,程序运行的时候出现了错误,我按照提示进行增加本地的Scala环境,所以这里还是记录一下。

图1

设置环境变量vim ~/.bash_profile

export SCALA_HOME=/Users/iOLO/dev/OpenSource/scala-2.11.12
export PATH=$SCALA_HOME/bin:$PATH

别忘了生效命令,source ~/.bash_profile
验证必备,验证命令

$ scala -version                        
Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL
$ scala                     
Welcome to Scala 2.11.12 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_171).
Type in expressions for evaluation. Or try :help.
scala>

构建Flink环境并启动

下载好Flink的压缩包之后去解压

注意这里规定好一个目录,一会的web工具也放在一个文件夹下,别问为啥,问了我也不知道。

图2

修改一下Flink配置文件,这里就直接贴出来我修改的地方,几乎没有动,因为我不太懂,所以能用就行

# 这是运行任务的数量,默认是1,这里改成是10,别问,问就是因为我喜欢
taskmanager.numberOfTaskSlots: 10
# 这里是checkpoint存储的问题,分别由内存,fs,rockDB,我这里的用的是内存,不过好像默认是就是内存
# 我也不太懂,就改了改
state.backend: jobmanager
# 这里群里发的配置,我也不知道是啥,就直接改了
jobmanager.execution.failover-strategy: region
# 这个是关键,是啥作用不知道,但是web工具备注上说明这个需要改成这个
classloader.resolve-order: parent-first
  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值