大数据Spark之详细解读Spark-Sql

Spark Sql

简介

Shark

• Shark 是基于 Spark 计算框架之上且兼容 Hive 语法的 SQL 执行引擎，由于底层的计算采用了
  Spark ，性能比 MapReduce 的 Hive 普遍快2倍以上，当数据全部加载在内存的话，将快10倍以上，因此 Shark 可以作为交互式查询应用服务来使用。
• 除了基于 Spark 的特性外， Shark 是完全兼容 Hive 的语法，表结构以及 UDF 函数等，已有的
  Hive Sql 可以直接进行迁移至 Shark 上 Shark 底层依赖于 Hive 的解析器，查询优化器，但正是由于 shark 的整体设计架构对 Hive 的依赖性太强，难以支持其长远发展，比如不能和 Spark 的其他组件进行很好的集成，无法满足 Spark 的一站式解决大数据处理的需求。

Spark on Hive和Hive on Spark

• Spark on Hive ：Hive只作为储存角色，Spark负责sql解析优化，执行。
• Hive on Spark ：Hive即作为存储又负责sql的解析优化，Spark负责执行。

DataSet和DataFrame

DataFrame

• 可以理解为RDD+schema（元信息）

• 特征

  • 在spark中，DataFrame是一种以RDD为基础的分布式数据集，类似传统数据库的二维表格
  • DataFrame带有schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称（如下图的 name age height）和类型（如下图的 string int double）
  • DataFrame可以从很多数据源构建对象 ，如已经存在的RDD、结构化文件、外部数据库、Hive表。
  • RDD可以把它的内部元素看成是一个java对象，DataFrame内部是一个个Row对象，它表示一行一行的数据

• 优点

  • 提升执行效率
  • 减少数据读取
  • 执行优化

• 创建方式

  • case class

  • /**
    * 10,ACCOUNTING,NEWYORK
    * 20,RESEARCH,DALLAS
    * 30,SALES,CHICAGO
    * 40,OPERATIONS,BOSTON
    */
    object HelloSparkCaseClass {
           
        def main(args: Array[String]): Unit = {
           
      //创建对象
      val sparkSession: SparkSession =
    SparkSession.builder().master("local").appName("Hello02SparkSql").ge
    tOrCreate()
      //日志级别
      val sparkContext: SparkContext = sparkSession.sparkContext
      sparkContext.setLogLevel("ERROR")
      //读取数据
      val lines: RDD[String] =
    sparkContext.textFile("src/main/resources/dept.sql")
      val depts: RDD[Dept] = lines.map(_.split(",")).map(ele => new
    Dept(ele(0).toInt, ele(1), ele(2)))
      //开始隐式转换
      import sparkSession.implicits._
      val dataFrame: DataFrame = depts.toDF()
      //打印信息-------DSL风格
      dataFrame.show()
      dataFrame.printSchema()
      println(dataFrame.count())
      dataFrame.columns.foreach(println)
      dataFrame.select("deptno", "dname").show()
      dataFrame.select("deptno", "dname").filter("deptno = 20").show()
      dataFrame.groupBy("dname").count().show()
      //打印信息-------SQL风格
      dataFrame