Impala 管理(准入控制)

Impala 管理(准入控制)

1. 准入控制和查询队列

​ 准入控制是Impala 的一个功能，为的是避免对一个繁忙的CDH集群产生过多的内存压力。

​ 准入控制是一个轻量级的去中心化的系统，它适用于负载主要是Impala查询的集群，它以软限制的方式去控制Impala 相对稳定的方式去使用内存，而不是要么执行要么取消的方式限制资源的使用。

​ 但是准入控制并不像YARN 那样那么了解集群的整体负载情况，所以我们可以将YARN 和 Llama 一起使用，Llama 是一个介于YARN 和Impala 的媒介。

​ 如果我们没有启动 Llama, Impala 会使用准入控制单独控制资源管理，我们可以配置：内存限制，查询队列大小，超时队列；

​ 如果启动了Llama，YARN将通过Llama来控制Impala 的资源管理，我们可以配置：查询队列大小， 超时队列，此时内存限制由YARN 动态分配。

怎么配置准入控制

​ 通过cloudera manager 来配置一系列参数，内存限制、查询队列大小、超时队列、并发查询限制等，不通过cloudera manager 的话，只能手动修改配置文件，比较麻烦。

• –default_pool_max_queued 等待队列最大请求数 限制，默认0
• –default_pool_max_requests 默认-1
• –default_pool_mem_limit 默认空
• –disable_admission_control 该参数表示关闭准入控制功能， 默认false
• –disable_pool_max_requests 该参数表示禁用资源池对开发查询请求的限制 默认False
• –disable_pool_mem_limits 禁用内存限制
• –fair_scheduler_allocation_path 指定公平调度器的配置文件的路径，默认为 空
• –llama_site_path 指定Llama 配置文件 llama-stie.xml 路径，默认空
• –queue_wait_timeout_ms 一个请求被接受之前最长能等待的时间 ，默认60000 毫秒

使用准入控制指导原则

​ 准入控制只是Impala 的软限制，特殊情况还是有可能超出这个限制，例如瞬时骤增的查询请求。

后备方案是使用Linux 的cgroups 机制来硬性的限制内存的使用，防止内存过载的情况出现。

2. 开启资源管理

3. 为进程，查询，回话设定超时限制

• 给Statestore 增加超时时间， -statestore_subscriber_timeout_seconds

• 为Impala 设定空闲超时

  1）–idle_query_timeout：超过指定的时间以后，空闲的查询将会被终止。

  2）–idle_session_timeout: 用于指定空闲会话的超时时间，默认是0，即永远不会超时

4. 通过代理实现Impala 的高可用性

Impala本身不是高可用的，它只是有很多节点供我们自己选择使用，但是如果我们连接的那个节点崩溃，我们只能手动换一个节点或者等待节点恢复，这就有点不太好。所以官方给出了一个建议，使用代理通过负载均衡的技术来实现Impala的高可用，官方了链接在此，可以试着弄一下:

https://docs.cloudera.com/documentation/enterprise/latest/topics/impala_proxy.html