Flink部署 集群检测 任务提交

Flink的部署

1.下载Flink安装包https://www.apache.org/dyn/closer.lua/flink/flink-1.12.1/flink-1.12.1-bin-scala_2.12.tgz
2.上传flink安装包到Linux服务器上
3.解压flink安装包
tar -xvf flink-1.9.1-bin-scala_2.11.tgz -C /opt/apps/
4.修改conf目录下的flink-conf.yaml配置文件
#指定jobmanager的地址 jobmanager.rpc.address: node-1.51doit.cn #指定taskmanager的可用槽位的数量 taskmanager.numberOfTaskSlots: 2
5.修改conf目录下的slaves配置文件，指定taskmanager的所在节点
linux02 linux03
6.将配置好的Flink拷贝到其他节点
for i in {2..3}; do scp -r flink-1.9.1/ linux0$i:$PWD; done

启动flink集群和检测

1.执行启动脚本
bin/start-cluster.sh
2.访问JobManager的web管理界面，端口8081

提交Flink任务

1.通过web页面提交
2.使用命令行提交
bin/flink run -m linux01:8081 -p 4 -c org.apache.flink.streaming.examples.socket.SocketWindowWordCount examples/streaming/SocketWindowWordCount.jar --hostname linux01 --port 8888
参数说明：
-m指定主机名后面的端口为JobManager的REST的端口，而不是RPC的端口,RPC通信端口是6123
-p 指定是并行度
-c 指定main方法的全类名