flink 1.16 在centos安装 部署踩的坑

报错:

1 RESOURCES_DOWNLOAD_DIR : 这个错误是修改了 conf目录下 的 master  或 workers 等信息造成的.

2 修改了这个信息可能会造成输入密码的问题.

3 Could not connect to BlobServer at address localhost/127.0.0.1:39203  这个端口还会变化,这种问题可能是因为conf下的master 或者 workers配置问题,也有可能是 flink-conf.xml配置出了问题.

参考一下:

对flink-conf.yaml的jobmanager-bind-host 进行修改
standlone模式注释掉，或者设置0.0.0.0
YARN上，如果设置为localhost，这个设置将被忽略，默认为0.0.0.0。
Kubernetes上，此设置将被忽略，默认为0.0.0.0。

4 执行命令 sql-client.sh embedded 出现问题,多半也是配置的问题

5 提交测试任务也出问题,也是配置的问题

测试例子: /opt/flink1.16/bin/flink run /opt/flink1.16/examples/streaming/wordCount 

-----------------------------------------------------------------------------------------------------------------------------

开始安装部署步骤:

我用的是standalone模式安装:

1 下载包,Downloads | Apache Flink 我安装的是1.16.0版本没有安装最新版本

2 解压包

tar -xzf flink-1.16.0-bin-scala_2.12.tgz

3  一些包的依赖等需要上传到 lib目录下:

这个支持了clickhouse数据库同步, postgresql数据库同步功能了,

flink-connector-clickhouse-1.16.0-SNAPSHOT.jar 这个包我已经编译好了,

(367条消息) flink-connector-clickhouse-1.16.0-SNAPSHOT.jar资源-CSDN文库

4 flink信息配置

jobmanager.rpc.address: localhost
jobmanager.rpc.port: 6123

jobmanager.bind-host: localhost

 jobmanager.memory.process.size: 900m

taskmanager.bind-host: localhost

taskmanager.host: localhost

taskmanager.memory.process.size: 1328m

taskmanager.numberOfTaskSlots: 10
parallelism.default: 1

jobmanager.execution.failover-strategy: region

rest.address: localhost

rest.bind-address: 0.0.0.0

classloader.resolve-order: parent-first

jobmanager.archive.fs.dir: file:///opt/flink-1.16.0/completed-jobs/

historyserver.web.address: 0.0.0.0

historyserver.web.port: 28082

historyserver.archive.fs.dir: file:///opt/flink-1.16.0/completed-jobs/

historyserver.archive.fs.refresh-interval: 10000
historyserver.archive.clean-expired-jobs: false
 

masters文件: localhost:8081

workers文件:localhost 

5 启动

$ ./bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host.
Starting taskexecutor daemon on host.

停止命令:

 $ ./bin/stop-cluster.sh ,如果启动了多个taskmanger的话,可能要执行多次

启动historyserver命令

$ ./bin/historyserver.sh start

6 提交作业进行测试

$ ./bin/flink run examples/streaming/WordCount.jar
$ tail log/flink-*-taskexecutor-*.out
  (nymph,1)
  (in,3)
  (thy,1)
  (orisons,1)
  (be,4)
  (all,2)
  (my,1)
  (sins,1)
  (remember,1)
  (d,4)