tez在join操作中遇到数据丢失问题(牵涉hive优化)
前言相信很多人遇到过,将tez集成到hive中时,进行表join操作,比如3张表进行join,发现最后结果和预期比较 ,少了一些。然后对每个子查询进行分析,发现往往每个子查询又没有任何数据丢失!而是到了join阶段,数据才出现部分丢失。下面我们对此进行展开叙述。问题排查首先,为了排查到底是哪里的情况。我们知道,tez对DAG运算做了很多优化,和传统MR运行有区别。那么到底如何查呢。首先为...
原创
2020-04-12 14:34:42 ·
4867 阅读 ·
17 评论