spark系列（4）之sparkSQL

spark-core之前操作的一直都是RDD这个对象，而spark-sql换成了DataFrame，使用sql语句进行大数据操作
本质上不同，dataframe有些类似数据库二维表

RDD

DataFrame

类似于二维表格式，除数据外保存数据结构信息

数据类型固定是Row，类型需要通过解析才能获得值
性能比RDD好，原因两点
	定制化内存管理
		数据以二进制的方式存在于非堆内存，节省了大量空间之外，还摆脱了GC的限制
	优化的执行计划
    	查询计划通过Spark catalyst optimiser进行优化

DataSet

DataFrame扩展，最新的数据抽象

样例类被用来在Dataset中定义数据的结构信息，样例类中每个属性的名称直接映射到DataSet中的字段名称
相对于DataFrame，DataSet会记录字段的数据类型，并进行严格错误检查

读取csv文件数据

object SqlDemo {
  def main(args: Array[String]): Unit = {
    //创建spark对象
    val sprak = SparkSession.builder()
      .appName("sql")
      .master("local")
      .getOrCreate()
    //option("header","true") 设置读取属性，这里指的是忽略首行
    //csv("路径") 读取csv格式的数据
    //read：读取多种数据 比如hive mysql数据库 json 扩充到多种数据源
    val data = sprak.read.option("header","true").csv("data/address.csv")
    data.select("店铺ID","公共交通").show()

  }
}

不管是json数据 还是普通数据表 方法通用

读取json类型数据

创建user.json File文件
[{"name": "张三","age": "18"},{"name": "李四","age": "20"}]
//读取json数据
object SqlDemo {
  def main(args: Array[String]): Unit = {
    val sprak = SparkSession.builder()
      .appName("sql")
      .master("local")
      .getOrCreate()
    val json1 = sprak.read.json("data/user.json")
    json1.show(10)
    json1.select("name","age").show()//select(列名) 语句 指的是查询这一列的值 可加多个列名
    json1.filter("age > 10").show()//过滤条件
    //去执行sql的函数
    json1.selectExpr("sum(age)").show()
  }
}