tez在join操作中遇到数据丢失问题（牵涉hive优化）

前言

相信很多人遇到过，将tez集成到hive中时，进行小表join操作，比如3张表进行join，发现最后结果和预期比较 ，少了一些。然后对每个子查询进行分析，发现往往每个子查询又没有任何数据丢失！而是到了join阶段，数据才出现部分丢失。下面我们对此进行展开叙述。

问题排查

1. 首先，为了排查到底是哪里的情况。我们知道，tez对DAG运算做了很多优化，和传统MR运行有区别。那么到底如何查呢。
2. 首先为了排查是否是tez引擎引起的，所以我们把引擎的配置改回mr。发现有时候确实能够避免数据丢失，有时候又不能！那么肯定不完全是tez的问题了。

这里不得不说下hive一些优化参数！

hive优化的相关参数

-- 是否自动开启mapjoin,默认为true
set hive.auto.convert.join=true;

-- mapjoin小表和大表的阈值设置
set hive.mapjoin.smalltable.filesize=25000000;

set hive.auto.convert