本文探讨了Hive中的order by、sort by和distribute by的区别，强调了在不需要全局排序时sort by的高效性。通过示例展示了如何使用distribute by确保相同年份的行被分配到同一个reducer。同时，针对ID与多个name的情况，介绍了如何利用Hive的case when和collect_set函数处理数据，确保ID唯一并获取任意name。最后，提到可以通过数组下标访问collect_set函数返回的数组元素，实现特定需求。
1、
当某个字段应用了case when 条件并且使用了or， 且where查询条件的里正好有该字段，查询结果会出错
针对查询一出现问题，修改下SQL， 将case when then else end, 改成case when then when then else end即可
2、
Order by 能够预期产生完全排序的结果，但是它是通过只用一个reduce来做到这点的。所以对于大规模的数据集它的效率非常低。在很多情况下，并不需要全局排序，此时可以换成Hive的非标准扩展sort by。Sort by为每个reducer产生一个排序文件。在有些情况下，你需要控制某个特定行应该到哪个reducer，通常是为了进行后续的聚集操作。Hive的distribute by 子句可以做这件事。
最低0.47元/天 解锁文章
2285
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
