- 博客(2)
- 资源 (4)
- 收藏
- 关注
原创 hive优化总结
1、列裁剪、分区裁剪只查询需要的字段和分区,不使用select*2、join优化小表放左边3、空值处理(1)NULL和数字相加的问题,为避免这种情况先nvl 或者coalesce 先处理(2)NULL 值关联时,可排除掉不参与关联,也可随机分散开避免倾斜4. 排序优化不需要全局排序时,可用distribute by sort by 而不用
2017-06-11 11:48:22 969
原创 一次hive reduce oom 处理:Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas
问题: hive job失败,现象reduce失败,起了新的reduc而后还是失败,最终job失败错误:2017-06-07 16:43:20 INFO Examining task ID: task_*** (and more) from job job_***2017-06-07 16:43:21 INFO FAILED: Execution Error, return code
2017-06-11 11:04:22 16487
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人