部署Flink
这里部署一台机器,采用standalone方式部署
安装介质获取
直接到https://flink.apache.org去下载编译好的tar包即可,这里用的是1.8.1的版本。包名 flink-1.18.1-bin-scala_2.12.tgz
JDK这里采用JAVA SE 1.8
解压
在普通用户下(这里用datatech,HOME=/home/datatech)解压(直接在$HOME下解压),解压后生成flink-1.18.1 目录,做一个软链接,方便后续换版本,同时也可以少输入一些内容,根据习惯,也可以不做。
tar zxvf flink-1.18.1-bin-scala_2.12.tgz
ln -s flink-1.18.1/ flink
配置
/home/datatech/flink/conf/flink-conf.yaml
-
设置IP
配置IP为0.0.0.0(将localhost修改成0.0.0.0),注意,不能是固定IP,否则后续flink-cdc提交任务的时候会报错:
Flink: Could not connect to BlobServer at address localhost/127.0.0.1:11240的错误,这个决定了flink-cdc得部署在jobmanager的服务器上! -
根据需要修改内存等参数
execution.checkpointing.interval: 3000
taskmanager.num