今天刚搭建好spark的集群环境,在打开本地文件的时候遇到下面这样的错误
Lost task 0.0 in stage 10.0 (TID 17, slave1): java.io.FileNotFoundException
程序都能运行出结果,但就是会报错
解决办法:
如果你是在集群的环境下运行,你必须确保所有的节点上的同个文件夹都有该文件,(我的问题就是这个),或者你可以使用HDFS就不会出现此问题。
今天刚搭建好spark的集群环境,在打开本地文件的时候遇到下面这样的错误
Lost task 0.0 in stage 10.0 (TID 17, slave1): java.io.FileNotFoundException
程序都能运行出结果,但就是会报错
解决办法:
如果你是在集群的环境下运行,你必须确保所有的节点上的同个文件夹都有该文件,(我的问题就是这个),或者你可以使用HDFS就不会出现此问题。