Spark SQL—1—简介、应用

1. Spark SQL比较HiveSQL
   1. Hive：将Hive SQL转换成MapReduce然后提交到集群上执行，简化了编写MapReduce的程序
      1. 由于MapReduce这种计算模型执行效率比较慢。
   2. Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快
2. Spark SQL应用场景
   1. ETL：
      1. Extract抽取
         1. 数据源：HDFS、S3、本地、关系数据库(Oracle、MySQL)、NOSQL(HBase、Cassandra)。。
         2. 数据类型：json、csv、xml。
      2. Transform清洗空值的处理、拆分数据、规范化数格式、数据替换。。。
      3. Load加载：存储到各种数据源中
   2. 分布式查询：可以作为分布式sql查询引擎，通过jdbc/odbc或指令对数据库进行分布式查询
   3. 结合spark streaming，处理实时数据流
   4. 结合MTLlib进行机器学习
3. DataFrame
   1. 与RDD类似，也是一个分布式数据容器。
   2. DataFrame更像传统数据库的二维表格，除了数据以外，还记录数据的结构信息，即schema。
   3. 同时，与Hive类似，DataFrame也支持嵌套数据类型（struct、array和map）。
   4. 从API易用性的角度上 看，DataFrame API提供的是一套高层的关系操作，比函数式的RDD API要更加友好，门槛更低。由于与R和Pandas的DataFrame类似，Spark DataFrame很好地继承了传统单机数据分析的开发体验​​​​​
4. DateFrame两种编程风格
   1. DSL风格

      //查看DataFrame部分列中的内容
      personDF.select(personDF.col("name")).show
      personDF.select(col("name"), col("age")).show
      personDF.select("name").show
      
      //打印DataFrame的Schema信息
      personDF.printSchema
      
      //查询所有的name和age，并将age+1
      personDF.select(col("id"), col("name"), col("age") + 1).show
      personDF.select(personDF("id"), personDF("name"), personDF("age") + 1).show

   2. sql风格

      //如果想使用SQL风格的语法，需要将DataFrame注册成表
      personDF.registerTempTable("t_person")
      
      //查询年龄最大的前两名
      sqlContext.sql("select * from t_person order by age desc limit 2").show
      //显示表的Schema信息
      sqlContext.sql("desc t_person").show