- 博客(3)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Scala中函数组合器用法
http://blog.csdn.net/springlustre/article/details/52882205 讲的挺全
2017-07-20 02:41:24
668
原创 第二篇一次查询
问题：sparksql用GROUPPING SETS同时做不同维度组合的聚合，原先刚刚好危险的在一个小时内跑完，又新加了两个维度，维度组合翻倍（大致30个组合），结果要聚合的数据量也翻倍了。。。每次数据量大于2T，导致倾斜严重，运行慢的问题。(注，图的笔记利用了两个很相同的查询，只是为了说明一下情况) 尝试改进1：用mr跑会不会更快？没有，mr跑了2小时，spa
2017-07-10 22:26:22
438
原创 hive查过的函数
1、正则匹配函数 regexp 1.正则匹配 数值型 hive > select 1 regexp '^[0-9]*$' from dual; > true 2.正则匹配数值开头结尾 hive > select '1aa1' regexp '^[0-9].*$' from dual; > tru
2017-07-03 14:31:24
307
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人