参考: http://spark.apache.org/docs/1.6.0/submitting-applications.html#master-urls
这里详细介绍了一下spark-submit的参数使用和功能,需要看一下。
这里遇到问题,当换成yarn-client方式运行的时候会一直出现提示:
18/10/27 02:06:50 INFO yarn.Client: Application report for application_1540605321820_0009 (state: ACCEPTED)
18/10/27 02:06:51 INFO yarn.Client: Application report for application_1540605321820_0009 (state: ACCEPTED)
18/10/27 02:06:52 INFO yarn.Client: Application report for application_1540605321820_0009 (state: ACCEPTED)
在cdh里面看一下yarn集群的执行任务情况:
发现已经有一个任务正在运行,并且,没有多余的资源空闲出来给新的任务,而且那个任务停在那里不再执行了,所以利用yarn的命令停掉任务。
yarn application -kill application_1540605321820_0009
详细的job运行情况需要看这里http://cdh1:8088/cluster
关于spark-submit的具体参数说明和使用,我会在后面详细介绍。