现象:
spark sql 查询表时报错:。。。 not a file
解决:
- 如果是在终端启动 spark shell,那么就执行
spark-sql --conf spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive=true --conf spark.hive.mapred.supports.subdirectories=true - 如果是代码,那么就设置下边两个参数
.set("spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive", "true") .set("spark.hive.mapred.supports.subdirectories", "true")