![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sql
文章平均质量分 93
青冬
想改变世界,却困于肉身。
展开
-
Flink 第8.4章 Flink Join 精讲
序参考: Flink 中文社区预计阅读时间:15min,共5700字。JoinJoin 语义以及实现现在有很多的成熟方案,然而近年来,实时流之间的Join 却是刚刚起步。在 Join 之中,最重要的就是我们一般实现 join 需要依赖于缓存整个数据集,但是在实时数据中,他是一个无限的数据流,内存压力和计算效率在长时间运行时,都会带来不可避免的问题。那么我们先讲讲对于 Join的基础知识。Batch SQL Join传统的离线Batch SQL 有三种基础的...原创 2022-05-07 11:42:41 · 4317 阅读 · 0 评论 -
Hive实现先排序后分段分组功能,(按某一列,连续相同的值合并)
需求 元数据如:,需要整合成为如果需将多行合并成一行,按A行排序后,再将B行按照C行分组进行合并可以使用这个办法。将A行排序,使用if(lag(C,1,C) over(order by A)=C,1,0) as b, B as a得到上图表,然后使用可以将其合并。可以简化sql,但这里只提供一个思路。select collect_set(a) as answer...原创 2019-12-05 10:13:31 · 5888 阅读 · 0 评论