dataframe读取本地文本数据的方式
val conf: SparkConf = new SparkConf().setAppName("test").setMaster("local[*]")
val spark: SparkSession = SparkSession.builder().config(conf).getOrCreate()
val rawDataFrame = spark.read.format("csv")
.option("sep", ",")
.option("inferSchema", "true")
.option("header", "true")
.load("E:\\warehouse\\01src\\input\\3.csv")
rawDataFrame.show(20)
这种方式读取文本数据必须要带列名。