SparkSQL
文章平均质量分 82
匿名啊啊啊
这个作者很懒,什么都没留下…
展开
-
SparkSQL学习(一)SparkSQL简单使用
1、SparkSQL的进化之路1.0以前: Shark1.1.x开始: SparkSQL(只是测试性的) SQL1.3.x: SparkSQL(正式版本)+Dataframe1.5.x: SparkSQL 钨丝计划1.6.x: SparkSQL+DataFrame+DataSet(测试版本)1.x: SparkSQL+DataFrame+DataS...原创 2018-05-04 21:25:48 · 1352 阅读 · 0 评论 -
SparkSQL学习 (二)SparkSQL的自定义函数UDF
在Spark中,也支持Hive中的自定义函数。自定义函数大致可以分为三种:UDF(User-Defined-Function),即最基本的自定义函数,类似to_char,to_date等UDAF(User- Defined Aggregation Funcation),用户自定义聚合函数,类似在group by之后使用的sum,avg等UDTF(User-Defined Table-Generat...原创 2018-05-04 22:55:36 · 1137 阅读 · 0 评论 -
SparkSQL学习(三)SparkSQL读取Mysql的两种方式
第一种:package Mysql import java.util.Properties import org.apache.spark.sql.DataFrame import org.apache.spark.sql.hive.HiveContext import org.apache.spark.{SparkConf, SparkContext} object SparkSQL1 ...原创 2018-05-27 21:40:17 · 8899 阅读 · 1 评论