问题描述
SAP HANA 使用SDI,使用Hive 从Hadoop中抽数,造成Hive Memory负载较高。
分析步骤
- 首先,遇到该问题,如果有Hive/Hadoop 专业人员的支持是更好的
- 检查Hive中造成内存上升的作业名,并且从Hive中找到对应的Hive SQL
- 通过对SQL设置相关的Hive参数,在Hive上测试是否可以减少内存,在本案例中,以下参数是由Hive IT人员进行建议:
tez.queue.name=default // 对HANA来的抽数SQL使用专门的queue
tez.grouping.split-count=1 // 减少Hive执行MR作业时group的分割组数 - 将相关的参数配置到HANA的SDI连接配置中,可以参考SDI Hive配置
在Additional Properties这个Remote connection的配置选项中,将上述参数按照要求的格式填上,无需重启。