hive运行报Call to master/**.** failed on local exception: java.nio.channels.ClosedByInterr

最近在运行hive任务时,会很频繁的报此错误信息,如下:

原因是连接不上namenode的8020端口,此端口是hdfs的端口配置,导致原因如下:

就是运行一个SQL语句一次读6次写入不同表的任务导致。

解决方式:

将该SQL语句,进行拆分。测试5次后,不再出现这种情况。

目前该问题还没得到彻底解决。等待…………

通过几天的观察发现,与IPC的相关参数设置有关,通过查看hadoop相关的IPC源码发现,默认的IPC读线程只有一个,而且空闲时间太短。导致当我的一个SQL语句包含一次读多次写的场景时,偶尔会出现IPC来不及处理,然后被hadoop里的IPC监控线程判断出已经超时,导致IPC连接关闭(默认一次关闭10个连接)。
另外就是如果运行脚本内容(指SQL语句)太多,那么分多个SQL脚本分开运行。

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值