Hadoop 3.2.2 + Hive 3.1.2 + Tez 0.10.1 冲突解决(Hive sql MR任务执行结果跟预期不一致)
因公司分析订单数据要求,全面装行大数据工程师,在自己摸索Hadoop+Hive+Tez on Hive上花费了不少时间也趟了不少坑。
该篇文章主要记录下较新版的Hadoop+Hive搭建遇到比较大的问题
在开始的时候并没有使用tez替换计算引擎,公司主要是离线数仓,但是在使用hadoop的MR执行的时候出现了查询数据跟预期结果不同的严重BUG,确认不是sql 的问题,公司的业务需求写了一条较多嵌套的sql,查询结果严重偏离预期,使用 with [table] as 问题依旧出现,只有把部分嵌套的语句的
原创
2021-08-04 18:36:11 ·
1710 阅读 ·
3 评论