- 博客(1)
- 收藏
- 关注
原创 Hive 的 distribute by
Order by 能够预期产生完全排序的结果,但是它是通过只用一个reduce来做到这点的。所以对于大规模的数据集它的效率非常低。在很多情况下,并不需要全局排序,此时可以换成Hive的非标准扩展sort by。Sort by为每个reducer产生一个排序文件。在有些情况下,你需要控制某个特定行应该到哪个reducer,通常是为了进行后续的聚集操作。Hive的distribute by 子句可以做
2013-07-09 14:56:23 28024 5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人