通过SparkSession读取csv文件时,可以通过option方法来自动识别csv文件的标题,推断数据类型
def main(args: Array[String]): Unit = {
Logger.getLogger("org").setLevel(Level.WARN)
val spark = SparkSession.builder().appName("Spark Sql 2.x 5")
.master("local")
.getOrCreate()
//读取csv后直接就是df,但是,此时没有表头,需要手动添加
val df: DataFrame = spark.read
//自动识别表头
.option("header",true)
//自动推断类型
.option("inferSchema", true)
.csv("D:\\coding\\java\\BigData\\File\\boys.csv")
df.printSchema()
spark.stop()
}
若是没有表头,可以通过toDF方法指定。