hive llap巨坑,前段时间在研究,一直启动不成功。关键是几个空间参数的配置,只要配错了,就会出现各种奇怪的问题,日志的错误提示很少而且很模糊,官方的文档又不够明确,发现问题很难定位。总之就是很坑。
yarn队列配置
要为llap分配一条队列,这条队列有几个要注意的地方.
- 最大容量和最少容量必须相等,容量一定要足够,即大于hive的hive.llap.daemon.yarn.containter.mb参数加上一个最少的container 容量(driver)。
- Priority 设为大于其他队列的值,默认为0,设为1就行。
hive配置
详细配置我就不讲了,网上有。我就讲最关键的最坑爹的3个。
- 首先配置hive.llap.daemon.yarn.containter.mb参数。这个参数要大于yarn 的minimum container size小于maximum container size。
- 配置hive.llap.io.memory.size参数,该参数值可以等于hive.llap.daemon.yarn.containter.mb参数乘以10%。
- 配置LLAP Daemon Heap Size 参数,该参数值可以等于hive.llap.daemon.yarn.containter.mb参数乘以80%。
参考
https://community.hortonworks.com/articles/149486/llap-sizing-and-setup.html