qq_29143837的博客

原创 Spark读取一个文件夹中的所有csv文件

val data: DataFrame = spark.read.option(“inferSchema”, “true”) //通过设置inferSchema=true，Spark 将自动遍历 csv 文件并推断每列的架构。.option(“header”, true) //选取数据第一行作为dataframe数据列的名词。.option(“dateFormat”, “yyyyMMdd”) //设置时间格式。Spark读取一个文件夹中的所有csv文件。2、对读取的内容进行设置。.csv") //使用。