Spark（1）将RDD转换成DataFrame并以CSV和数据库保存数据

一、使用隐式转换将RDD转换成DataFrame

//导入隐饰操作，否则RDD无法调用toDF方法 
import spark.implicits._
val df1:DataFrame=rdd.map(x=>{
  x.split(",")
}).map(x=>{
  (x(0),x(1),x(2),x(3),x(4))
}).map(x=>
  Hello(x._1,x._2,x._3,x._4,x._5)
).toDF()

二、以csv格式保存

df2.coalesce(1).write.csv("school.csv")

三、与MySql数据库创建连接并保存在MySql数据库中 

 1、MySql数据库版本在8.0以上： 

 

val saveMode = SaveMode.Append
val prop=new java.util.Properties
prop.setProperty("driver","com.mysql.cj.jdbc.Driver")
prop.setProperty("user","root")
prop.setProperty("password","123456")
df1.write.mode(saveMode)
    .jdbc("jdbc:mysql://localhost:3306/cqgs?useUnicode=true&characterEncoding=utf8&serverTimezone=GMT%2B8&useSSL=false","college",prop)