org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost~~

报错

在Spark中运行sc.textFile()等函数后报以下错误：
org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9000/Filename.txt

解决方法

这是所加载文件不存在而报的错，因为配置等原因textFile()默让是在HDFS中查找文件，所以只给一个文件目录则会在HDFS中查找文件，请先确保你所加载的文件在HDFS中
例如：var rdd = sc.textFile("/Filename.txt")等价于var rdd = sc.textFile(“hdfs:///Filename.txt”)是在HDFS中查找文件，请将文件用put上传到HDFS或确保该文件在hdfs://中。
若你想用本地文件创建rdd，则应在目录前加入“file://”
例如：var rdd = sc.textFile(“file:///Filename.txt”)