搭建Flink集群环境

下载最新的Flink安装包

https://www.apache.org/dyn/closer.lua/flink/flink-1.12.1/flink-1.12.1-bin-scala_2.11.tgz

好用的下载工具

速度快的没得说 你可以对付费的迅雷说拜拜了

motrix

下载地址

https://motrix.app/

Free Download Manager

下载地址

https://dn3.freedownloadmanager.org/6/latest/fdm.dmg

本地模式安装

解压安装包

tar -xzf flink-1.12.0-bin-scala_2.11.tgz
cd flink-1.12.0-bin-scala_2.11

启动集群

./bin/start-cluster.sh

提交作业(Job)

./bin/flink run examples/streaming/WordCount.jar

查看日志

tail log/flink-*-taskexecutor-*.out

监视集群的状态和正在运行的作业

http://localhost:8081/#/overview

停止集群

./bin/stop-cluster.sh

High-Availability with Standalone

服务器资源

服务器1 192.168.84.128 jobmanager
服务器2 192.168.84.131 taskmanager
服务器3 192.168.84.132 taskmanager

安装包路径

/opt/flink/flink-1.12.1

修改jobmanager服务器地址

vi conf/flink-conf.yaml 

jobmanager.rpc.address: 192.168.84.128

指定master flink web ui

vi conf/master

192.168.84.128:8081

修改worker服务器地址

vi conf/workers

192.168.84.131
192.168.84.132

访问 flink web ui

http://192.168.84.128:8081/#/overview

同上执行job

免密登陆

客户端生成密钥

ssh-keygen

查看公私钥

cd ~/.ssh

id_rsa （私钥）
id_rsa.pub (公钥)

上传公钥到服务器

# 写到服务器上的ssh目录

ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.84.131
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.84.132

到指定服务器查看公钥

cd ~/.ssh
cat known_hosts 

免密登陆

ssh root@192.168.84.131

磁盘满了

space left on device

当磁盘容量或inode容量任意一个不足时就都会提示No 

查看磁盘空间

df -h

查看inode空间

df -i

由上可知根目录/磁盘满了 接下来需要确定是哪个文件太大导致的

查看指定目录下所有文件大小并排序

du -sh  /* |sort

最终确定是docker磁盘文件太大导致的 因该dokcer是用来测试玩的 删掉即可

rm -rf /var/lib/docker