求大神解答,或者我们来讨论下!今天碰到一个很奇怪的问题,关于spark-submit 三种运行模式:
(1)本地local模式
(2)在Hadoop YARN-client模式
(3)Standalone Cluster模式
1 问题描述
首先说明一下我的集群,一个master节点和两个slave节点,slave1和slave2。
我一直在master节点上练习spark-submit三种模式。运行的列子就是统计单词的个数。
首先我运行的spark-submit的local模式,可以成功,并且成功的写入了Linux下制定的输出目录,然后在Hadoop YARN-client模式下运行,成功的写入了HDFS目录下,最后在Stand alone Cluster模式下也成功运行,但是问题来了,我再次在master节点上运行本地模式,输出的结果写到了HDFS下,我明明制定了本地运行模式,而且代码里写的输出路径为Linux路径,不是HDFS路径,