欢迎关注github《大数据成神之路》
目录
一、SparkSQL的进化之路
二、认识SparkSQL
2.1 什么是SparkSQL?
2.2 SparkSQL的作用
2.3 运行原理
2.4 特点
2.5 SparkSession
2.7 DataFrames
三、RDD转换成为DataFrame
3.1 方式一:通过 case class 创建 DataFrames(反射)
3.2 方式二:通过 structType 创建 DataFrames(编程接口)
3.3 方式三:通过 json 文件创建 DataFrames
四、DataFrame的read和save和savemode
4.1 数据的读取
4.2 数据的保存
4.3 数据的保存模式
五、数据源
5.1 数据源只json
5.2 数据源之parquet
5.3 数据源之Mysql
5.4 数据源之Hive