spark
JinVijay
这个作者很懒,什么都没留下…
展开
-
SparkSQL--DSL风格API(TableApi)语法
DSL(DataSet Language)风格API,就是编程API的方式,来实现SQL语法DSL:特定领域语言DataSet的TableApi有一个特点:运算后返回值必回到DataFrame因为select后,得到的结构,无法判断返回值的具体类型,只能用通用的Row封装 TableAPI基本操作数据准备id,name,age,city,score1,张三,21,BJ,80.02,李四,23,BJ,82.03,王五,20,SH,88.64,赵六,26,SH,83.05,..原创 2022-01-14 21:38:41 · 1817 阅读 · 0 评论 -
Spark-SQL自定义聚合函数
核心要义:聚合是分步骤进行: 先局部聚合,再全局聚合局部聚合(reduce)的结果是保存在一个局部buffer中的全局聚合(merge)就是将多个局部buffer再聚合成一个buffer最后通过(finish)将全局聚合的buffer中的数据做一个运算得出你要的结果自定义avgobject Demo01_UDAF { def main(args: Array[String]): Unit = { val spark: SparkSession = Spa...原创 2022-01-16 20:43:34 · 1284 阅读 · 0 评论