java.io.IOException: (null) entry in command string: null ls -F+一个文件路径:解决方法
运行环境为idea
本地运行scala编写的WordCount实例时,出现了java.io.IOException: (null) entry in command string: null ls -F+文件路径 的错误。
原因是想要一次性加载所有文件,但是在加载所有文件的时候,路径指向不对。
我想要读取的是datas下面的所有文件:
我原本的代码为:
//读取文件,按行读取
val lines: RDD[String] = sc.textFile("datas")
修改为如下后运行成功
//读取文件,按行读取
val lines: RDD[String] = sc.textFile("{datas/*}")
经过查阅资料,发现此方法也适用于mapreduce任务的文件路径读取。