mr和tez跑出来的数据不一样，mr丢数据？

1.问题描述

• 在hive中分别使用tez和mr两种模式进行计算(hql中包含union all)，最终得到的数据结果却不相同, mr在对表进行读取时，无法获取到数据。

2.查找原因

• 经过排查发现，读取表的输出目录，在分区目录下发现了两个子目录
  /user/hive/warehouse/bigda.db/tab/1
  /user/hive/warehouse/bigda.db/tab/2
  
• 查阅资料后发现tez对于insert union操作会进行优化，通过并行加快速度，为防止有相同文件输出，所以对并行的输出各自生成成了一个子目录，在子目录中存放结果。如果此时全部hive客户端引擎及相关都设定为tez，则无问题。如果有客户端还在使用mr引擎，则会出现读取不到数据的情况。

3.解决办法

• 在对表进行写入操作的时候，统一使用mr进行操作，避免出现这种问题。