hive中shuffle 与 spark shuffle 中的异同
由于目前的项目有强制的资源限制,hive任务不能满足要求,需要将hiveSQL 改成spark 的scala脚本运行,但是再过程中遇到了很多坑,这里记录一下可能涉及到的原理问题。
由于hive SQL 是使用SQL实现,再逻辑非常复杂的情况下,只能将任务分成多个阶段,同时尽量减少job数 来提高效率。在这种情况下,有可能出现复算以及计算无效数据的情况,需要衡量计算无效数据的效率以及避免计算而出现的...
原创
2019-01-21 16:37:57 ·
4823 阅读 ·
0 评论