spark-submit local本地运行问题

博主在使用spark-submit运行本地(local)模式时遇到问题,原本应写入Linux目录的输出结果意外写入了HDFS。在其他slave节点上运行local模式则正常。问题在于目录指定与实际写入路径不一致,删除HDFS目录后,输出仍不在Linux目录,而是在HDFS。检查代码和配置后,发现其他slave节点能够正确执行并将结果写入Linux目录。
摘要由CSDN通过智能技术生成

求大神解答,或者我们来讨论下!今天碰到一个很奇怪的问题,关于spark-submit 三种运行模式:

(1)本地local模式

(2)在Hadoop YARN-client模式

(3)Standalone Cluster模式

  1  问题描述

      首先说明一下我的集群,一个master节点和两个slave节点,slave1和slave2。

       我一直在master节点上练习spark-submit三种模式。运行的列子就是统计单词的个数。

       首先我运行的spark-submit的local模式,可以成功,并且成功的写入了Linux下制定的输出目录,然后在Hadoop YARN-client模式下运行,成功的写入了HDFS目录下,最后在Stand alone Cluster模式下也成功运行,但是问题来了,我再次在master节点上运行本地模式输出的结果写到了HDFS下我明明制定了本地运行模式而且代码里写的输出路径为Linux路径不是HDFS路径,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值