![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
IT_Lee_J_H
喜好计算机、算法、数据结构、对大数据、AI非常感兴趣,希望和各位大神交流学习
展开
-
Hadoop自学笔记之:reduce端利用辅助排序手动实现连接
Hadoop自学笔记之:reduce端利用辅助排序手动实现连接1.简述:hadoop在开发过程中可能需要将输入的数据集像操作数据库时,对关系型数据库表的连接这样的操作,将输入的数据将进行连接操作原创 2017-12-17 17:06:58 · 584 阅读 · 0 评论 -
Flink -- window数据倾斜 解决思路
这里阐述一下Flink中 window间的数据倾斜的解决思路,不做代码展现场景: 分项目统计某个时间粒度的pv数据数据情况:每个项目的数据量不同,某个项目的数据量很大,导致这个项目的窗口中的数据很大,发生倾斜解决思路:思路一: 针对window原始方式中在窗口触发前,是以数据积攒的方式进行的。所以针对这种方式可以在window后跟一个reduc...原创 2019-03-18 17:27:20 · 8741 阅读 · 4 评论