声明: 由于我集群搭建的问题, 并不能通过yarn提交flink任务, 所以第三部分的所有实现, 全是复制粘贴的尚学堂的教案.
如果之后集群弄好了, 会重新修改这部分的内容
侵权删
一. Web UI提交
-
任务提交
-
查看是否接收到数据
-
查看是哪个节点执行的
-
访问执行的节点
-
查看结果
二. 命令提交
-
执行命令
./flink run -d -c com.hjf.ScalaStreamWordCount /root/Demo-1.0-SNAPSHOT.jar
其中-d 选项表示提交 job 之后,客户端结束并退出。 -
在Web UI中可以查看到
后续查看, 参考之前
三. Flink提交到Yarn
Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务。这种模式的好处是可以充分利用集群资源,提高集群机器的利用率,并且只需要 1 套 Hadoop 集群,就可以执行 M