tez引擎跑hive 语句报错问题解决

tez引擎跑hive 语句报错问题解决

现象:
Container [pid=151320,containerID=***] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 2.8 GB of 5.1 GB virtual memory used. Killing container.
很明显,容器物理内存爆了。

我先设置了hive.tez.container.size=2048,同样的报错。
接着设置了tez.task.resource.memory.mb=2048,还是同样的报错。
翻了半天tez参数说明,加了一个am的设置:set tez.am.resource.memory.mb=2048,终于好了。
记录一下。

tez参数说明:
1、AM、Container大小设置1、tez.am.resource.memory.mb  #设置 tez AM容器内存
  默认值:1024  
  配置文件:tez-site.xml  建议:不小于或者等于yarn.scheduler.minimum-allocation-mb值。
2、hive.tez.container.size  #设置 tez container内存
  默认值:-1
  默认情况下,Tez将生成一个mapper大小的容器。这可以用来覆盖默认值。
  配置文件:hive-site-xml  建议:不小于或者是yarn.scheduler.minimum-allocation-mb的倍数

问了一个专业的人,他说这两个参数要配合使用。
好吧,其实只是一个简单问题解决。没啥实际用处。。。我又不用tez跑hive语句。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值