1.第一种方式:
首先我们展示一下数据文件:
Michael, 29
Andy, 30
Justin, 19
然后我们开始编写第一种实现方法:
先写一个case calss,然后再map方式将数据转换成people形式通过toDF直接转换
def run1(sparkSession: SparkSession): Unit = {
//隐式转换
import sparkSession.implicits._
//接收文件,是rdd类型
val rdd: RDD[String] = sparkSession.sparkContext.textFile("data/people.txt")
//根据逗号进行分割,将字段赋值给people
val df: DataFrame = rdd.map(_.split(","))
.map