Flink on yarn的配置及执行

1. 写在前面

Flink被誉为第四代大数据计算引擎组件，即可以用作基于离线分布式计算，也可以应用于实时计算。Flink可以自己搭建集群模式已提供为庞大数据的计算。但在实际应用中。都是计算hdfs上的数据文件，所以更多的建立在基于hadoop集群，而hadoop集群的资源调度组件为yarn，所以Flink on yarn本身就是提供了集群模式，将flink计算的资源调度和管理交给yarn，这里详细介绍flink on yarn的配置(默认hadoop几圈是配置没有问题的)

2. 配置yarn-site.xml

这里的配置主要是配置执行的资源信息

3. 配置flink-conf.ymal

注意:最后两行的配置至关重要，如果不配会导致执行的结果没问题，但当flink提交执行结果报错从而导致整个任务进程都在影响下个任务的执行，其他配置都是配置flink的一些基本资源信息

4. 执行flink任务

./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 /wordspace/meijs/yndata-1.0.jar 20180318 15

该命令指定了nodemanager的个数，jobmanager的内存信息和taskmanager的内存信息

当执行任务出现以下信息证明成功，并可以在yarn管理页面上看到任务的执行状态

转载于:https://www.cnblogs.com/jiashengmei/p/10567523.html