hive执行insert语句时报错

 错误提示如下:

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched:
Stage-Stage-1:  HDFS Read: 0 HDFS Write: 0 FAIL

resolution:修改yarn-site.xml 

yarn.scheduler.maximum-allocation-mb8192可申请的最大内存资源,以MB为单位

 

yarn.nodemanager.resource.memory-mb8192NM总的可用物理内存,以MB为单位。一旦设置,不可动态修改

 

 

 配置如下

<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2000</value>
</property>

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2000</value>
</property>

另外针对上述的resolution还可以解决如下问题:

org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=1536, maxMemory=1024

另外还要给自己一个小小的建议:以后遇到了问题,需要修改什么就要去改,要去试了才知道该resolution是不是错误的或者有用的。并且如果某个错误提示中找不到解决办法,就要从另外可能的方面下手找原因,一步一步的排查,可能问题就出在某个很小的问题上,或者之前疏忽或者遗漏的地方

 

 

转载于:https://www.cnblogs.com/flyingcr/p/10326873.html

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive中,insert语句用于将数据插入到表中。与其他数据库不同的是,Hive在插入数据时不能指定字段,必须插入全字段。因此,无法通过指定插入数据的别名来改变插入字段的顺序。\[1\] 此外,Hive对于insert语句中使用的别名并不关心,别名代表的字段可以不存在,甚至可以相同。这意味着执行insert语句时,别名并不影响插入的结果。\[2\] 以下是一些示例insert语句的用法: - insert overwrite table my.test_table partition(pt=1) select 2 as invalid_col, 1 as invalid_col from my.online_table; 这个语句将从my.online_table中选择2和1作为无效列,并覆盖插入到my.test_table的pt=1分区中。\[2\] - from test_table insert overwrite table test_insert1 select key; 这个语句将从test_table中选择key列,并覆盖插入到test_insert1表中。\[3\] - insert overwrite table test_insert2 select value; 这个语句将从默认表中选择value列,并覆盖插入到test_insert2表中。\[3\] 总之,Hiveinsert语句在插入数据时不能指定字段,必须插入全字段。别名在插入过程中并不影响结果。 #### 引用[.reference_title] - *1* *2* [hiveinsert语句列顺序问题以及新增字段遇到的坑](https://blog.csdn.net/hzp666/article/details/123046169)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Hiveinsert操作,导出数据到本地、hdfs](https://blog.csdn.net/liyonghui123/article/details/84676708)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值