Spark Sql

目录

 

Shark

Spark Sql 

Hive on Spark模式

SparkSQL on Hive模式 

DataFrame

DataFrame创建方式 

读json文件（不能是嵌套格式的json）

读取json格式的RDD

读取parquet文件创建DataFrame

SaveMode指定文件保存时的模式

基于非json格式的RDD创建

反射的方式创建DataFrame（不建议使用）

动态创建Schema的方式创建DataFrame（建议使用）

---

Shark

Shark发布于2011年，是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎。

这时，Hive可以说是SQL on Hadoop的唯一选择，负责将SQL编译成可扩展的Map/Reduce作业。Shark即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark上运算。

但是，Shark继承了大量的Hive代码，给优化和维护带来了大量的麻烦。随着性能优化和先进分析整合的进一步加深，基于MapReduce设计的部分无疑成为了整个项目的瓶颈。

所以在2014年Databricks宣布终止对Shark的开发，将重点放到Spark SQL上。Databricks表示，Spark SQL将涵盖Shark的所有特性。

Spark Sql 

Hive是Shark的前身，Shark是SparkSQL的前身。

相对于Shark，SparkSQL的优势：

1）完全脱离了Hive的限制；在Hive on Spark模式下由Hive进行SQL解析、优化，在Spark Sql中有独立的Sql解析器、优化器；

2）支持查询原生的RDD，RDD是Spark平台的核心概念，是Spark能够高效的处理大数据的各种场景的基础；

3）能够在Scala中写SQL语句。支持简单的SQL语法检查，能够在Scala中写Hive语句访问Hive数据，并将结果取回作为RDD使用；

 

Hive on Spark模式

 

SparkSQL on Hive模式 

 

DataFrame

Spark SQL中的DataFrame类似于一张关系型数据表，是一个分布式数据容器。从结构上来看像传统数据库的二维表格，除了数据以外，还掌握数据的结构信息，即schema。同时，与Hive类似，DataFrame也支持嵌套数据类型（struct、array和map）。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。

DataFrame创建方式 

读json文件（不能是嵌套格式的json）

sqlContext.read().format("json").load(path)

sqlContext.read().json(path)

注意不能是嵌套格式的json，可能会解析不完全；

 

读取json格式的RDD

JavaRDD<String> nameRDD = sc.parallelize(Arrays.asList(
					"{'name':'zhangsan','age':\"18\"}",
					"{'name':\"lisi\",\"age\":\"19\"}",
					"{\"name\":\"wangwu\",\"age\":\"20\"}"
				));
JavaRDD<String> scoreRDD = sc.parallelize(Arrays.asList(
				"{\"name\":\"zhangsan\",\"score\":\"100\"}",
				"{\"name\":\"lisi\",\"score\":\"200\"}",
				"{\"name\":\"wangwu\",\"score\":\"300\"}"
				));
DataFrame namedf = sqlContext.read().json(nameRDD);
DataFrame scoredf = sqlContext.read().json(scoreRDD);
namedf.show();
scoredf.show();

RDD的元素类型是String，但是格式必须是JSON格式。

读取parquet文件创建DataFrame

//加载parquet文件有以下两种方式:
//1.
DataFrame load = sqlContext.read().format("parquet").load(path);
//2.
DataFrame load = sqlContext.read().parquet(path);

SaveMode指定文件保存时的模式

           Overwrite：覆盖

           Append：追加

           ErrorIfExists：如果存在就报错

           Ignore：如果存在就忽略

基于非json格式的RDD创建

反射的方式创建DataFrame（不建议使用）

JavaRDD<String> RDD = sc.textFile(path);
JavaRDD<ClassName> classNameRDD = RDD.map(new Function<String, ClassName>() {
    private static final long serialVersionUID = 1L;

    @Override
    public ClassName call(String s) throws Exception {
          ClassName className = new ClassName();
          //一系列操作
          return className;
});
DataFrame df = sqlContext.createDataFrame(classNameRDD , ClassName.class);

1.自定义类必须是可序列化的

2.自定义类访问级别必须是Public

3.RDD转成DataFrame会把自定义类中字段的名称按assci码排序

动态创建Schema的方式创建DataFrame（建议使用）

JavaRDD<String> RDD = sc.textFile(path);
//转换成Row类型的RDD
JavaRDD<Row> rowRDD = RDD.map(new Function<String, Row>() {
    private static final long serialVersionUID = 1L;

    @Override
    public Row call(String s) throws Exception {
        return RowFactory.create(
            //这里字段顺序一定要和下边 StructField对应起来
                String.valueOf(s.split(",")[0]),
                Integer.valueOf(s.split(",")[1])
        );
    }
});
List<StructField> asList =Arrays.asList(
    //这里字段顺序一定要和上边对应起来
    DataTypes.createStructField("id", DataTypes.StringType, true),
    DataTypes.createStructField("age", DataTypes.IntegerType, true)
);

StructType schema = DataTypes.createStructType(asList);
DataFrame df = sqlContext.createDataFrame(rowRDD,schema);