hive定位问题的方法论

环境及场景:数据仓库hive,执行引擎MapReduce,运行环境CDH,存储在hdfs上的表的格式是orc格式节省存储空间。

根据实际经验,做如下介绍:

  1. 查看j代码调用脚本时候出现的直接报错问题,定位是否是环境的问题或者代码的问题;
  2. 如果是hive的报错eg:retuorn code 1 oom等;
  3. 查看cdh集群对应的任务(application_123123),查看log,container中一些数据的情况;
  4. 可在application中查看对应执行任务的一些集群参数使用情况
  5. 可在application中查看对应的log里面比较明确的错误信息,有时候报的错需要在下一步才可以找到;
  6. 完成以上之后在去/tmp/hive下面查看对应的hive执行日志,一般这里会直接暴露出错误问题的直接原因。
  7. 找到原因在,单独对错误脚本调整,执行,最终解决问题

  以上的说明对于基于hive作为数据仓库,在执行的时候出现的一些报错时候,定位问题的方法论,后面文章会对相应的hive执行进行分析和汇总

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值