Spark读取一个文件夹中的所有csv文件

Spark读取一个文件夹中的所有csv文件

前提：dataset 文件夹中包含多个csv文件

1、直接读取
val data: DataFrame = spark.read.csv(“dataset/*.csv”) //使用星号匹配所有csv文件

2、对读取的内容进行设置
val data: DataFrame = spark.read.option(“inferSchema”, “true”) //通过设置inferSchema=true，Spark 将自动遍历 csv 文件并推断每列的架构。默认为false，数据读取为String类型。
.option(“header”, true) //选取数据第一行作为dataframe数据列的名称
.option(“dateFormat”, “yyyyMMdd”) //设置时间格式
.csv("dataset/*.csv)