sparksq中的文件加载

本文介绍了如何使用Spark SQL加载不同格式的文件,如JSON、Parquet和CSV,并展示了从MySQL数据库导入数据到Spark以及将Spark数据导出到MySQL的过程。同时提到了SaveMode的几种模式:Append、Overwrite、ErrorIfExists和Ignore。
摘要由CSDN通过智能技术生成

spark.read.format(“json”).load(“file///…l路径名”)
简写spark.read.json(“file///路径名”)
spark.read.format(“parquet”).load(“file///…l路径名”)
简写spark.read.parquet(“file///路径名”)

加载text,只能解析成一列
spark.read.text(…)

csv 普通文本文件,但是每一列之间作为分隔符,我们可以重新制定它的表头
spark .read.csv(“file///…
.l路径名”).toDF(“id”,“n
ame”,“simple_name”)
是英文状态下的逗号
如果是csv文件自带的表头,呢么不用指定
注意欧:必须是逗号分隔符,如果是分号,就会默认是一列
spark .read.csv(“file///…
.l路径名”)

jdbc (将mysql数据加载到spark中来)
val url =“jdbc:mysql://localhost:3306/oa”
val table=“t_dept”
val properties=new Properities()
properties.setProperty(“user”,“root”)
properties.setProperty(“password”,“123456”)
spark.read.jdbc(url,table,properties)
pdf.show()

导出本地
//
1.Append:如果保存的文件已经存在,那么就将新数据追加到原文件的末尾
2.Overwrite:覆盖,将原来的数据删除,使用新增的数据
3.ErrorI

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值