SparkSql读取外部数据源

1、产生背景

    用户需求：方便快速从不同的数据源(json、parquet、rdbms)，经过混合处理(json join parquet)，再将处理结果以特定的格式(son、Parquet)写回指定的系统(HDFS、S3)上去

Spark SQL 1.2 ==> 外部数据源API

    Loading and saving Data is not easy

    Parse raw data:text/json/parquet

    Convert data format transformation

    Datasets stores in various Formats/Systems

2、目标

     对于开发人员：是否需要吧代码合并到spark中 ？？不需要 —jars  

     用户：

            读：spark.read.format(format)

                    format

                           build－in:json parquet jdbc  cvs(2+)

                           package: 外部的 并不是spark内置 https://spark-packages.org/

            写：

                people.write.format(“parquet”).save(“path")

3、操作Parquet文件数据

        加载数据：spark.read.format(“parquet”).load(path)

        保存数据：df.write.format(“parquet”).save(path)

        spark.read.load(“file:…..json’)  会报错，因为sparksql默认处理的format就是parquet

4、操作Hive表数据

        spark.table(tableName)

        df.write.saveAsTable(tablename)

        spark.sql(“select deptno,count(1) as mount from amp where group by deptno”).filter(“deptno is not null”).write.saveAsTable(“hive_table_1”)

        spark.sql(“show tables”).show

        spark.table(“hive_table_1”).show

        spark.sqlContext.setConf(“spark.sql.shuffle.partitions”,”10")

        在生产环境中一定要注意设置spark.sql.shuffle.aprtitions，默认是200

5、操作mysql关系型数据库

    操作mysql的数据 

 //第一种方法

 val jdbcDF =         spark.read.format(“jdbc”).option(“url”,”jdbc:mysql://localhost:3306/hive”).option(“dbtable”,”hive.TBLS”).option(“user”,”root”).option(“password”,”root’)..option(“driver”,”com.mysql.jdbc.Driver”).load()

jdbcDF.printSchema

jdbcDF.show

jdbc.select(“TBL_ID”,”TBL_NAME”).show

//第二种方法

import java.util.Properties

val connectionProperties = new Properties()

connectionProperties.put(“user”,”root”)

connectionProperties.put(“password”,”root”)

connectionProperties.put(“driver”,”com.mysql.jdbc.Driver”)

val jdbcDF2 = spark.read.jdbc(“jdbc:mysql://localhost:3306”,”hive.TBLS”,connectionProperties)

6、综合使用

外部数据源综合案例

create database spark;

use spark;

CREATE TABLE DEPT(

DEPTNO    int(2)   PRIMARY KEY,   

DNAME VARCHAR(14),

LOC VARCHAR(13)

);

INSERT INTO DEPT VALUES(10,’ACCOUNTING’,’NEW YORK’);

INSERT INTO DEPT VALUES(20,’RESEARCH’,’DALLAS’);

INSERT INTO DEPT VALUES(30,’SALES’,’CHICAGO')

INSERT INTO DEPT VALUES(40,’OPERATIONS’,’BOSTON’)