今天在编写spark代码时,突然出现:Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/F:/Program Files/CODE/ProjectHadoop/input
锁定出现问题代码:
val lines: RDD[String] = sc.textFile("input")
原因:spark使用sc.textFile类时,默认从HDFS读入。更改代码为:
val lines: RDD[String] = sc.textFile("file:///input")
在文件路径前加 file:/// 表示优先从本地目录读取