SparkSql第一天学习

SparkSql第一天

 

    Shark

        Shark 是基于 Spark 计算框架之上且兼容 Hive 语法的 SQL 执行引擎，由于底层的计算采用了

Spark ，性能比 MapReduce 的 Hive 普遍快2倍以上，当数据全部加载在内存的话，将快10倍以

上，因此 Shark 可以作为交互式查询应用服务来使用。

        除了基于Spark的特性之外，shark是完全兼容HIve的语法，表结构以及UDF函数等，已有的

Hive Sql 可以直接进行迁移至 Shark 上 Shark 底层依赖于 Hive 的解析器，查询优化器，但正是

由于 shark 的整体设计架构对 Hive 的依赖性太强，难以支持其长远发展，比如不能和 Spark 的其

他组件进行很好的集成，无法满足 Spark 的一站式解决大数据处理的需求。

        shark是SparkSql的前身，SaprkSql产生的根本原因是其完全脱离了Hive的限制

        SparkSQL 支持查询原生的 RDD 。  RDD 是 Spark 的核心概念，是 Spark 能够高效的处理大数据的各种场景的基础。

能够在 scala / java 中写 SQL 语句。支持简单的 SQL 语法检查，能够在 SQL 中写 Hive 语句访问

Hive 数据，并将结果取回作为 RDD 使用。

        Spark on Hive和Hive on Spark

            Spark on Hive ：Hive只作为储存角色，Spark负责sql解析优化，执行。

            Hive on Spark：Hive即作为存储又负责sql的解析优化，Spark负责执行

    Dataset与DataFrame

        <dependency>

  <groupId>org.apache.spark</groupId>

  <artifactId>spark-sql_2.12</artifactId>

  <version>2.4.6</version>

</dependency>

        DataFrame

            

            可以简单的把DataFrame理解成RDD+schema元信息

            特征：

                在spark中，DataFrame是一种以RDD为基础的分布式数据集，类似传统数据库的二维表格

                DataFrame带有schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称（如下图的 name age height）和类型（如下图的 string int double）

                DataFrame可以从很多数据源构建对象 ，如已经存在的RDD、结构化文件、外部数据库、Hive表。

                RDD可以把它的内部元素看成是一个java对象，DataFrame内部是一个个Row对象，它表示一行一行的数据

            区别

                左侧的RDD[Person]虽然以Person为类型参数，蚕食Spark框架本身不了解Person类的内部结构

                右侧的DataFrame却提供了详细的结构信息，DataFrame多了数据的结构信息，即schema

            优点

                提升执行效率

                减少数据读取

                执行优化

        DataSet

            DataSet是分布式的数据集合，DataSet提供了强类型支持，在RDD的每行数据加了类型约束

Datset是在spark1.6中新添加的接口。它集中了RDD的优点（强类型和可以使用强大的lambda函

数）以及使用了sparkSQL优化的执行引擎。

DataFrame（在2.X之后）实际上是DataSet的一个特例，即对Dataset的元素为Row时起了一个别名

                

    DSL数据操作

        action

            show以表格的形式在输出中展示 jdbcDF 中的数据，类似于 select * from spark_sql_test 的功能。

                show 只显示前20条记录

                show(numRows: Int) 显示 numRows 条

                show(truncate: Boolean) 是否最多只显示20个字符，默认为 true

                show(numRows: Int, truncate: Boolean) 综合前面的显示记录条数，以及对过长字符串的显示格式

            collect 方法会将 jdbcDF 中的所有数据都获取到，并返回一个 Array 对象

            collectAsList：获取所有数据到List

            describe(cols: String*)：获取指定字段的统计信息

            first, head, take, takeAsList：获取若干行记录

                first 获取第一行记录

                 head 获取第一行记录， head(n: Int) 获取前n行记录

                take(n: Int) 获取前n行数据

                 takeAsList(n: Int) 获取前n行数据，并以 List 的形式展现

        查询

            where(conditionExpr: String) ：SQL语言中where关键字后的条件

可以用 and 和 or 。得到DataFrame类型的返回结果

            filter ：根据字段进行筛选

得到DataFrame类型的返回结果。和 where 使用条件相同

            select ：获取指定字段值

根据传入的 String 类型字段名，获取指定字段的值，以DataFrame类型返回

            selectExpr ：可以对指定字段进行特殊处理

可以直接对指定字段调用UDF函数，或者指定别名等。传入 String 类型参数，得到DataFrame对象。

            col ：获取指定字段

只能获取一个字段，返回对象为Column类型

            apply ：获取指定字段

只能获取一个字段，返回对象为Column类型

            drop ：去除指定字段，保留其他字段

返回一个新的DataFrame对象，其中不包含去除的字段，一次只能去除一个字段

        Limit

            limit 方法获取指定DataFrame的前n行记录，得到一个新的DataFrame对象

        排序

            orderBy 和 sort ：按指定字段排序，默认为升序

                按指定字段排序。加个 - 表示降序排序。 sort 和 orderBy 使用方法相同

                jdbcDF.orderBy(- jdbcDF("c4")).show(false)

                jdbcDF.orderBy(jdbcDF("c4").desc).show(false)

            sortWithinPartitions

                和上面的 sort 方法功能类似，区别在于 sortWithinPartitions 方法返回的是按Partition排好序的DataFrame对象。

        组函数

            groupBy ：根据字段进行 group by 操作

                groupBy有两种调用方法，可以传入String类型的字段名，也可以传入column类型的对象

            cube 和 rollup ：group by的扩展

                功能类似于 SQL 中的 group by cube/rollup

            GroupedData对象

                该方法得到的是 GroupedData 类型对象，在 GroupedData 的API中提供了 group by 之后的操作

        去重

            distinct ：返回一个不包含重复记录的DataFrame

                返回当前DataFrame中不重复的Row记录。该方法和接下来的 dropDuplicates() 方法不传入指定字段时的结果相同。

            dropDuplicates ：根据指定字段去重

                根据指定字段去重。类似于 select distinct a, b 操作

        聚合

            聚合操作调用的是 agg 方法，该方法有多种调用方式。一般与 groupBy 方法配合使用

            以下示例其中最简单直观的一种用法，对 id 字段求最大值，对 c4 字段求和

            jdbcDF.agg("id" -> "max", "c4" -> "sum")

        UNion

            unionAll 方法：对两个DataFrame进行组合 ,类似于 SQL 中的 UNION ALL 操作

        Join

            笛卡尔积

joinDF1.join(joinDF2)

            using 一个字段形式

下面这种join类似于 a join b using column1 的形式，需要两个DataFrame中有相同的一个列名，

joinDF1.join(joinDF2, "id")

            using 多个字段形式

上面这种 using 一个字段的情况外，还可以 using 多个字段

        save

            save可以将data数据保存到指定的区域

dataFrame.write.format("json").mode(SaveMode.Overwrite).save()

    SparkSQL的数据源

        SparkSQL 的数据源可以是 JSON 类型的字符串， JDBC , Parquet , Hive , HDFS 等

        SparkSQL底层架构

            首先拿到 sql 后解析一批未被解决的逻辑计划，再经过分析得到分析后的逻辑计划，再经过一批优化规则转换成一批最佳优化的逻辑计划，再经过 SparkPlanner 的策略转化成一批物理计划，随后

经过消费模型转换成一个个的 Spark 任务执行

                

        谓词下推

            Predicate Pushdown简称谓词下推，简而言之，就是在不影响结果的情况下，尽量将过滤条件提前执行。谓词下推后，过滤条件在map端执行，减少了map端的输出，降低了数据在集群上传输的

量，节约了集群的资源，也提升了任务的性能