环境及场景:数据仓库hive,执行引擎MapReduce,运行环境CDH,存储在hdfs上的表的格式是orc格式节省存储空间。
根据实际经验,做如下介绍:
- 查看j代码调用脚本时候出现的直接报错问题,定位是否是环境的问题或者代码的问题;
- 如果是hive的报错eg:retuorn code 1 oom等;
- 查看cdh集群对应的任务(application_123123),查看log,container中一些数据的情况;
- 可在application中查看对应执行任务的一些集群参数使用情况
- 可在application中查看对应的log里面比较明确的错误信息,有时候报的错需要在下一步才可以找到;
- 完成以上之后在去/tmp/hive下面查看对应的hive执行日志,一般这里会直接暴露出错误问题的直接原因。
- 找到原因在,单独对错误脚本调整,执行,最终解决问题
以上的说明对于基于hive作为数据仓库,在执行的时候出现的一些报错时候,定位问题的方法论,后面文章会对相应的hive执行进行分析和汇总