解决SparkSql 读取parquet或者Orc文件报错Unable to infer schema for Parquet. It must be specified manually

val conf = new SparkConf().setAppName(getClass.getSimpleName).setMaster("local[4]")
val spark = SparkSession.builder().config(conf).getOrCreate()
val sc = spark.sqlContext
val path="/data_file/tp=access/day=2019-08-17/"
//直接给路径就可以了啊,路径给到时间这个目录,不需要具体到parquet文件
val dataFrame = sc.read.parquet(path).limit(20)
dataFrame.select("role").show(10)
spark.close()

如果报上面的错误,可能是因为path指定的是一个具体的文件,其实不应该指定具体的文件,而是这个文件所在的目录即可