cdp集群中hive插入语句任务执行报错

文章讲述了在使用CDP测试集群中的Hive时遇到插入数据失败的问题,原因在于TezTask的Vertex任务资源超过集群容器能力。解决方法包括优化YARN的nodemanager资源配置,如调整虚拟核心数量和内存限制,并关闭相关检查。
摘要由CSDN通过智能技术生成

最近新搭建了一套cdp测试集群,在hue界面测试hive语句时,建表正常,但是出现插入数据失败问题
报错如下:

Error while compiling statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex’s TaskResource is beyond the cluster container capability,Vertex=vertex_1710760460432_0005_1_00 [Map 1], Requested TaskResource=<memory:4096, vCores:1>, Cluster MaxContainerCapability=<memory:3348, vCores:4>

编译语句时出错:失败:执行错误,从org.apache.hadoop.hive.ql.exec.tez返回代码2。TezTask。Vertex的任务资源超出了集群容器的能力,Vertex=Vertex_1710760432_005_1_00[映射1],请求的任务资源=<memory:4096,vCores:1>,集群最大容器容量=<memory:3348,vCore:4>

解决办法:

修改或者优化cdp集群中yarn参数

优化yarn.nodemanager.resource.cpu-vcores虚拟core

根据自身集群单个服务器进行设置
根据单个节点的核数确定,如果节点为4核16G,那就填4

在这里插入图片描述

 <!--调整yarn单个容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>

在这里插入图片描述
在这里插入图片描述

    <!-- 调整yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>

在这里插入图片描述
增加环境变量,关闭yarn对物理内存和虚拟内存的限制检查

    <!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>

在这里插入图片描述
修改后,重启集群使配置生效

  • 16
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值