- 博客(3)
- 资源 (2)
- 收藏
- 关注
转载 Scala中函数组合器用法
http://blog.csdn.net/springlustre/article/details/52882205 讲的挺全
2017-07-20 02:41:24 669
原创 第二篇一次查询
问题:sparksql用GROUPPING SETS同时做不同维度组合的聚合,原先刚刚好危险的在一个小时内跑完,又新加了两个维度,维度组合翻倍(大致30个组合),结果要聚合的数据量也翻倍了。。。每次数据量大于2T,导致倾斜严重,运行慢的问题。(注,图的笔记利用了两个很相同的查询,只是为了说明一下情况) 尝试改进1:用mr跑会不会更快?没有,mr跑了2小时,spa
2017-07-10 22:26:22 439
原创 hive查过的函数
1、正则匹配函数 regexp 1.正则匹配 数值型 hive > select 1 regexp '^[0-9]*$' from dual; > true 2.正则匹配数值开头结尾 hive > select '1aa1' regexp '^[0-9].*$' from dual; > tru
2017-07-03 14:31:24 307
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人