【HUE】HIVE出现异常写法的SQL，导致资源池被长期占用。实际是HUE的一个BUG。

环境信息：

1. 集群版本：CDP-7.1.7SP2

2. HUE版本：HUE-4.5.0

3. HIVE版本：3.1.3

背景：

用户在使用HIVE的时候反馈说有sql占用了大量资源，无法进行跑数。查询appid找到对应的SQL后发现是以下内容：

 SELECT `data_date` FROM `ods`.`rwtx_t_pushdetall_add` WHERE
  (`data_date`=2023-11-14) OR (`data_date`=2023-11-13) 
 OR (`data_date`=2023-11-12) OR (`data_date`=2023-11-11) 
 OR (`data_date`=2023-11-10) OR (`data_date`=2023-11-09) 
 OR (`data_date`=2023-11-08) OR (`data_date`=-2023-11-07) 
 OR (`data_date`=2023-11-06) OR ( `data_date`=2023-11-05) 
 LIMIT 100

以上问题我观察了一段时间，发现这类型的异常SQL会由不同用户提交，提交的SQL会涉及不同的表，并且发生的频率不固定。

问题分析：

1. 代码的业务逻辑讲不通，从指定的data_date获取data_date，不像是人会写出来的东西。

2. data_date的类型是varchar(10)，等值条件的内容也没有添加单引号，导致等号右侧的结果是数值运算。加上使用的是OR条件，每次执行都是全表过滤，所以遇到大表的时候占用的资源特别多。

3. 并且尝试kill掉该application后，发现过一会又会死灰复燃，新的application的ID都不一样。（如下图）

排查思路：

1. 等出现多个查询不同表的异常SQL后，收集日志；观察日志后发现，每个appid发起的ip都指向hue服务器。

2. 打开HUE服务进行观察，突然想到有个显示样例数据的功能，就是表清单侧边的按钮（字段右边也有），鼠标放上去会自动触发查询功能。

3. 这时马上查询HIVESERVER2的日志，果然出现了这个表的相关的异常SQL。

上述总结：

1、该bug是HUE开发者编写HUE获取样例数据的后台接口函数里的SQL不规范导致的

2、问题分析第三点SQL死灰复燃的原因应该是用户不断的点击触发 或者 是HUE在前端获取不到结果时一直在重新发起查询。

解决方案：

粗略的看了一遍hue.ini的官方参数，没有发现可以屏蔽掉该功能的参数。那只能通过修改代码的方式解决。以下是3种可能的方案：

1、方案一：修改前端代码，删除相关的标签（未测试）

github.com-ko.assistDbPanel.js

代码159-222行，这部分对应创建样例数据功能的按钮标签，可以对其进行修改或删除。

实际上不止这里调用了，其他地方也有可能调用，比如Tables窗口浏览时也会有样例数据，所以要改多处，也比较麻烦。

方案二：修改前端Ajax函数，禁止对后台发起查询

调用的是./api/v1/editor/sample/default/[tablename] 的接口，未找到对应的前端发起查询的函数。

方案三：调整HUE进行查询的后台代码

github.com-hive_server2_lib.py#L1427

  def _get_partition_spec(self, name, value):
    partition_spec = "`%s`='%s'" % (name, value)
    partition_key = next((key for key in self.partition_keys if key.name == name), None)
    if partition_key and partition_key.type.upper() not in ('STRING', 'CHAR', 'VARCHAR', 'TIMESTAMP', 'DATE'):
      partition_spec = "`%s`=%s" % (name, value)
    return partition_spec

以上代码经过测试partition_key.type的结果有可能是varchar(n)、char(n)等类型，不符合Line4的判断条件，导致这两类字符型的分区没有添加引号。因此需要对其进行判断：

  def _get_partition_spec(self, name, value):
    partition_spec = "`%s`='%s'" % (name, value)
    partition_key = next((key for key in self.partition_keys if key.name == name), None)
    if "(" in partition_key.type:
      _ptype = partition_key.type.split("(")[0]
    else:
      _ptype = partition_key.type
    if partition_key and _ptype.upper() not in ('STRING', 'CHAR', 'VARCHAR', 'TIMESTAMP', 'DATE'):
      partition_spec = "`%s`=%s" % (name, value)
    return partition_spec

修改代码后进行测试，查询的sql的分区字段出现引号了。

上面的github网址对应的应该是最新版的内容，bug目前还没有修复。

Sample Query默认是取10个分区，可以通过hue.ini的配置调整，减少一点。

# The maximum number of partitions that will be included in the SELECT * LIMIT sample query for partitioned tables.
## query_partitions_limit=10