spark.read.format(“json”).load(“file///…l路径名”)
简写spark.read.json(“file///路径名”)
spark.read.format(“parquet”).load(“file///…l路径名”)
简写spark.read.parquet(“file///路径名”)
加载text,只能解析成一列
spark.read.text(…)
csv 普通文本文件,但是每一列之间作为分隔符,我们可以重新制定它的表头
spark .read.csv(“file///…
.l路径名”).toDF(“id”,“n
ame”,“simple_name”)
是英文状态下的逗号
如果是csv文件自带的表头,呢么不用指定
注意欧:必须是逗号分隔符,如果是分号,就会默认是一列
spark .read.csv(“file///…
.l路径名”)
jdbc (将mysql数据加载到spark中来)
val url =“jdbc:mysql://localhost:3306/oa”
val table=“t_dept”
val properties=new Properities()
properties.setProperty(“user”,“root”)
properties.setProperty(“password”,“123456”)
spark.read.jdbc(url,table,properties)
pdf.show()
导出本地
//
1.Append:如果保存的文件已经存在,那么就将新数据追加到原文件的末尾
2.Overwrite:覆盖,将原来的数据删除,使用新增的数据
3.ErrorI