spark读取不了本地文件

环境:ubuntu16.04在spark集群中想要获取本地文件数据集iris.txt,但是却报了上图这样的错误,显示这个文件在这个路径不存在。然后我在本地这个文件路径查看是否有这个txt文件结果发现本地有这个文件啊,这就有点问题了然后上网查资料,资料如下:在spark-shell里执行textFile方法时,如果total-executor-cores设置为N,哪N台机有CoarseGrainedExecutorBackend进程的,读取的文件需要在这N台机都存在如果设置为1,就读.
摘要由CSDN通过智能技术生成

环境:ubuntu16.04

在spark集群中想要获取本地文件数据集iris.txt,但是却报了上图这样的错误,显示这个文件在这个路径不存在 。然后我在本地这个文件路径查看是否有这个txt文件

结果发现本地有这个文件啊,这就有点问题了

然后上网查资料,资料如下:

在spark-shell里执行textFile方法时,如果total-executor-cores设置为N,哪N台机有CoarseGrainedExecutorBackend进程的,读取的文件需要在这N台机都存在如果设置为1,就读取指定的master spark的文件如果只执行   ./spark-shell  就读取启动命令的主机的文件,即在哪台机启动就读取哪台机

但问题是我之前启动就是直接用的 ./spark-shell 命令(如下),应该没问题啊。

然后我再试着用更精确的命令?./bin/spark-shell  --master spark://master:7077 --executor-memory 1G --total-execut

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值