使用textFile的时候,想从windows本地读取数据,结果报如下错误:
原因就在于,已经在classpath下面加载了core-site.xml的配置文件,则会自动理解输入的文件路径为hdfs的,自然会报错。所以,在此情况下还想加载本地文件,那么就告诉机器以本地文件的格式或者协议读取即可
把D:\wc\hell.txt加上file:格式
val textRDD: RDD[String] = sc.textFile("file:\\D:\\wc\\hell.txt")
或者
val textRDD: RDD[String] = sc.textFile("file:/D:/wc/hell.txt")
或者注释掉core-site.xml中fs.defaultFS属性: