SparkSQL的前身是Shark。由于Shark自身的不完善,2014年6月1日Reynold Xin宣布:停止对Shark的开发。SparkSQL抛弃原有Shark的代码,汲取了Shark的一些优点,如内存列存储(In-Memory Columnar Storage)、Hive兼容性等,重新开发SparkSQL。
Spark-1.1 :2014年9月11日,发布Spark1.1.0。Spark从1.0开始引入SparkSQL(Shark不再支持升级与维护)。Spark1.1.0变化较大是SparkSQL和MLlib
Spark-1.2 : 开始支持外部数据源
Spark-1.3 : 增加 DataFrame新API
Spark-1.6 : 执行的sql中可以增加 "--" 注释 Spark-1.5/1.6的新特性
Spark-2.x : jdk强依赖1.8
Spark-1.1 :2014年9月11日,发布Spark1.1.0。Spark从1.0开始引入SparkSQL(Shark不再支持升级与维护)。Spark1.1.0变化较大是SparkSQL和MLlib
Spark-1.2 : 开始支持外部数据源
Spark-1.3 : 增加 DataFrame新API
Spark-1.4 : 增加 分析开窗函数
Spark 1.5 : Hive中有UDF与UDAF,Spark中对UDF支持较早,UDAF:User Defined Aggregate Function。用户自定义聚合函数,是直到Spark 1.5.x才引入的最新特性。参考文章: Spark编写UDAF自定义函数
Spark-1.6 : 执行的sql中可以增加 "--" 注释 Spark-1.5/1.6的新特性
Spark-2.x : jdk强依赖1.8