hive return code 2的问题

最新推荐文章于 2023-10-23 20:16:22 发布

iteye_3893

最新推荐文章于 2023-10-23 20:16:22 发布

阅读量3.4k

点赞数

分类专栏： hive 文章标签：大数据 python

本文链接：https://blog.csdn.net/iteye_3893/article/details/82641789

版权

hive 专栏收录该内容

55 篇文章 0 订阅

订阅专栏

在执行包含12个MR任务的Hive脚本时，遇到第5个任务返回错误2，疑似由于内存不足导致。通过拆分语句并增加数据落地步骤以减少内存使用，问题得到解决。参考Stack Overflow讨论，该错误可能是内存管理问题。

摘要由CSDN通过智能技术生成

在执行脚本:

create table liuchengtmp1_%CHINDAASDATE% as
	select a.markcode, a.xiangmu, 
	case when instrfun(xiangmu,'已注册（') >0 THEN '已注册'
		 when instrfun(xiangmu,'初步审定（') >0 THEN '初步审定'
		 ELSE XIANGMU
	END XIANGMU_new
	from f_tm_process_hdfs_ext_%CHINDAASDATE%  a 
	join (

	select max(fliuc_id) fliucid1 from f_tm_process_hdfs_ext_%CHINDAASDATE% a join
  (select a.markcode,max(a.liuchengdate) maxliuchendate,max(a.fliuc_idt) maxfliucidt 
  from f_tm_process_hdfs_ext_%CHINDAASDATE% a join 
  (select
  markcode,
  max(liuchengdate) maxliuchendate
  from f_tm_process_hdfs_ext_%CHINDAASDATE% group by markcode) b
  on a.markcode = b.markcode and a.liuchengdate = b.maxliuchendate
  group by a.markcode) c
  on a.markcode = c.markcode and a.liuchengdate = c.maxliuchendate and a.fliuc_idt = c.maxfliucidt
  group by a.markcode;  )  e on (a.fliuc_id = e.fliucid1);

脚本分拆成12个mr任务，在执行到第5个mr任务的时候报错如下：

网上找了好多资料，有的说这不是个错，有的说是内存不够造成，看上面报错截图，内存使用一直在增加，

因此估计是内存不够了，

后来处理措施为，将上述语句拆分成2步来执行，中间有一次数据落地，这样防止将所有数据都放在内存中执行，如下：

drop table if exists liuchengtmp_%CHINDAASDATE%;  
create table liuchengtmp_%CHINDAASDATE% as
	select max(fliuc_id) fliucid1 from f_tm_process_hdfs_ext_%CHINDAASDATE% a join
  (select a.markcode,max(a.liuchengdate) maxliuchendate,max(a.fliuc_idt) maxfliucidt 
  from f_tm_process_hdfs_ext_%CHINDAASDATE% a join 
  (select
  markcode,
  max(liuchengdate) maxliuchendate
  from f_tm_process_hdfs_ext_%CHINDAASDATE% group by markcode) b
  on a.markcode = b.markcode and a.liuchengdate = b.maxliuchendate
  group by a.markcode) c
  on a.markcode = c.markcode and a.liuchengdate = c.maxliuchendate and a.fliuc_idt = c.maxfliucidt
  group by a.markcode; 
  


drop table if exists liuchengtmp1_%CHINDAASDATE%;	
create table liuchengtmp1_%CHINDAASDATE% as
	select a.markcode, a.xiangmu, 
	case when instrfun(xiangmu,'已注册（') >0 THEN '已注册'
		 when instrfun(xiangmu,'初步审定（') >0 THEN '初步审定'
		 ELSE XIANGMU
	END XIANGMU_new
	from f_tm_process_hdfs_ext_%CHINDAASDATE%  a 
	join liuchengtmp_%CHINDAASDATE% b 
	on (a.fliuc_id = b.fliucid1);

修改后，执行，不在报错

下面是参考链接，值得看看老外们的说法：

http://stackoverflow.com/questions/11185528/what-is-hive-return-code-2-from-org-apache-hadoop-hive-ql-exec-mapredtask/11248618