hive llap 启动配置踩坑

hive llap巨坑,前段时间在研究,一直启动不成功。关键是几个空间参数的配置,只要配错了,就会出现各种奇怪的问题,日志的错误提示很少而且很模糊,官方的文档又不够明确,发现问题很难定位。总之就是很坑。

yarn队列配置

要为llap分配一条队列,这条队列有几个要注意的地方.

  1. 最大容量和最少容量必须相等,容量一定要足够,即大于hive的hive.llap.daemon.yarn.containter.mb参数加上一个最少的container 容量(driver)。
  2. Priority 设为大于其他队列的值,默认为0,设为1就行。

hive配置

详细配置我就不讲了,网上有。我就讲最关键的最坑爹的3个。

  1. 首先配置hive.llap.daemon.yarn.containter.mb参数。这个参数要大于yarn 的minimum container size小于maximum container size。
  2. 配置hive.llap.io.memory.size参数,该参数值可以等于hive.llap.daemon.yarn.containter.mb参数乘以10%。
  3. 配置LLAP Daemon Heap Size 参数,该参数值可以等于hive.llap.daemon.yarn.containter.mb参数乘以80%。

参考

https://community.hortonworks.com/articles/149486/llap-sizing-and-setup.html

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值