Distinct window functions are not supported: count(distinct _w0# ) windowspecdefinition

最新推荐文章于 2022-06-23 16:20:24 发布

DemonHunter211

最新推荐文章于 2022-06-23 16:20:24 发布

阅读量1.8k

点赞数 1

分类专栏： Hadoop

本文链接：https://blog.csdn.net/kwame211/article/details/109296020

版权

Hadoop 专栏收录该内容

199 篇文章 5 订阅

订阅专栏

方案一、可以使用approx_count_distinct，但是它是概率统计，非精确统计，其是使用HyperLogLog实现的

import org.apache.spark.sql.functions._

val windowSpec = Window.partitionBy($"site_id",$"pxSessionId").orderBy($"timeMs").rowsBetween(Long.MinValue,Long.MaxValue)

res.withColumn("pageViewNumber",approx_count_distinct(when($"event_name" === "pageview",$"pxSessionId")).over(windowSpec))

方案二、collect_set与size结合使用（函数大全见这里），示例如下

import org.apache.spark.sql.functions._

val windowSpec = Window.partitionBy($"site_id",$"pxSessionId").orderBy($"timeMs").rowsBetween(Long.MinValue,Long.MaxValue)

res.withColumn("pageViewNumber",size(collect_set(when($"event_name" === "pageview",$"pxSessionId")).over(windowSpec)))