关于hive同一个脚本运行多次而每次结果都不相同

最近在新的统计脚本中发现了,同一个脚本运行多次而每次结果都不相同的场景。

今天好像找到了原因,为了保险起见,先测试运行几天后再做决定。

2012-10-18号 

通过昨晚的运行,结果正常了。

导致此原因的情况如下:

首先该脚本执行的时候涉及到的记录有8千多万,在执行的过程当中,map=100%的时候,过一会又降下来了,变成map=97%这样,然后再升到map=100%,反复有两三次。

但最终job还是正常执行完成。


通过hadoop的MR管理界面看到的情况是:有几个子map运行失败,报错信息是Too many fetch failure

根据这个错误信息,我查看了下所有的slave机器上的/etc/hosts文件里,前面的两行记录没注释掉,内容如下:

127.0.0.1 localhost.localdomain localhost

::1             localhost6.localdomain6 localhost6


当我注释掉后,多次执行该脚本,再也没出现了之前描述的情况了。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值