Spark-数据加载与数据落地(巩固篇)

文章介绍了Spark中创建临时视图的两种类型及其区别,包括全局和局部,以及createTempView和createOrReplaceTempView函数的用法。同时,详细阐述了数据加载的方法,如read.format和read.jdbc,并提到了数据落地的两种方式及对应的write函数用法。
摘要由CSDN通过智能技术生成

关于创建临时视图的区别  

## 1. 从范围上说分为带Global和非Global的,带Global代表是当前SparkApplication可用的,而非Global的表示只在当前的SparkSession中可以使用
## 2. 从创建的角度上比较,createTempView,创建临时视图,如果该视图存在就报错。createOrReplaceTempView创建临时视图,如果视图存在就会覆盖之。
createOrReplaceTempView
createTempView 

createOrReplaceGlobalTempView
createGlobalTempView

数据加载

       加载数据一般为两种方式:

  1. spark.read.format("xx格式").load("路径")
  2. spark.read.xx格式("路径") 
//标准的加载方式:
spark.read.format("数据格式").load(path)
//简写:
spark.read.json("file:///d:/1.json")默认加载parquet 
 //读取JDBC操作1
    val df = spark.read.format("jdbc")
        .option("url","jdbc:mysql://master:3306/spark-sql") //路径
        .option("dbtable","user") //指定哪张数据表
        .option("user","root") //指定用户名
        .option("password","p@ssw0rd") //指定密码
        .load() //读取
    //读取JDBC操作2
    val pro = new Properties()
    pro.put("user","root") //指定用户名
    pro.put("password","p@ssw0rd") //指定密码
    //jdbc("路径","表名","Properties对象")
    val df1 = spark.read.jdbc("jdbc:mysql://master:3306/spark-sql","user",pro)

数据落地

        数据落地一般都有两种方式:

1、spark.wirte.format("文件格式").mode("存储模式").save("路径")

2、spark.wirte.格式("路径")

标准格式:

df.write.format("text").save("file:///C:\\real_win10\\1.txt")

简写

df.write.text("file:///C:\\real_win10\\1.txt")
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

open_test01

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值