impala 运维中遇到的问题

1、hue 在impala里的查询即使查询完成也不会中止 一挂好几小时

 Hue会尝试在用户离开查询结果返回界面时关闭查询（通常查询会比较快完成，因此可以快速的关闭它们）。但是，如果用户执行的操作从未返回。或者，如果用户从未关闭查询页面，则查询任然保存打开状态。可以通过如下方式设置该参数超时后自动取消查询。
使用管理员登录CM，进入Hue服务的配置界面

在搜索栏输入“hue*.ini”，在配置项中配置如下信息

[impala]
query_timeout_s=600

配置查询超时时间，单位为s，完成以上配置后根据CM提示重启相应服务即可。在此之前的版本，关闭所有查询的唯一解决方法则是重启Hue或Impala服务。

这个好像6.3.2没用

我在 impala里配置一下

idle_query_timeout

配置10分钟解决

2，impala 时区不正常

impala没有使用当地时间

在Impala 命令行参数高级配置代码段（安全阀）加入

-use_local_tz_for_unix_timestamp_conversions=true
-convert_legacy_hive_parquet_utc_timestamps=true

 3、impala cdh界面报错

查询监控状态检查

There are 1 error(s) seen monitoring executing queries, and 0 errors(s) seen monitoring completed queries for this role in the previous 5 minute(s)

该告警是在impala服务比较忙的集群上出现， CM会尝试链接impala 25000端口看网页是不是可用的，检查的超时时间默认为5秒，默认报错的次数是一次。检查时间为每5分钟检查一次。超时时间5秒对于比较忙的集群会比较短，所以会报这个问题。

 监控状态检查出现上述的告警，它并不代表着该节点impala deamon 的服务不可用，多数情况下是端口繁忙访问超时影响，如果它对你的日常使用造成了困扰，可以通过修改参数进行合理的调整

impala 配置中搜索 impala_query_monitoring_failure_window 

意外退出监控周期 默认是 5分钟

意外退出阀值默认是任意值都出现严重告警

重新配置后像这样

 对于25000 端口超时告警由于被修改过阈值，出现的为一个黄色的警告查询。

4、执行impala报错 

 File "/opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/bin/../lib/impala-shell/impala_shell.py", line 262
    print "Query options (defaults shown in []):"                                                ^
SyntaxError: invalid syntax

原因是因为语法错误，大多是因为环境变了 默认的Python变成了Python3 修改一下impaa-shell 的脚本，将/usr/bin/impala-shell中的python版本改为python2即可

vi /usr/bin/impala-shell
 
PYTHONPATH="${EGG_PATH}${SHELL_HOME}/gen-py:${SHELL_HOME}/lib:${PYTHONPATH}" \
  exec python2 ${SHELL_HOME}/impala_shell.py "$@"
 

5、scoket path

Impala cannot read or execute the parent directory of dfs.domain.socket.path

1、去HDFS中找到dfs.domain.socket.path配置

 2、找到报错的主机,设置scoket path,创建对应的目录即可
在每个节点上创建/var/run/hdfs-sockets/dn
mkdir -p /var/run/hdfs-sockets/dn
　　注意：该文件夹可能已经存在，应当确认用impala是否有权限进行读写
　　如果已经存在，将用户impala加入该文件所属的组，并修改该文件组的权限即：chmod 775 /var/run/hdfs-sockets/dn

3、重启对应的Impala Daemon进程，即可

6、Impala 查询失败，invalid query handle error

1. 以管理员身份登录 Cloudera Manager。
2. 转到群集> Hue 服务>配置> Hue 服务高级配置片段（安全阀） hue_safety_valve.ini。
3. 增加 server_conn_timeout 属性的值 impala部分如下：

   [impala]
      server_host=[***SERVER-HOST***]
      server_port=[***PORT***]
      server_conn_timeout=[***TIMEOUT-IN-SECONDS***]

   可以将属性的值增加到 2 小时（7200 秒）。 server_conn_timeout
4. 单击保存更改。
5. 重新启动 Hue 服务。

7、has an invalid version number:  This could be due to stale metadata. Try running

元数据过时，需要更新元数据，先尝试跑一下他提示的东西 不过多半不行，然后再重启impala刷新元数据 ，最后不行的话就impala shell  跑一下 invalidate metadata;

8、resource temporarily unavailable 和transport endpoint is not connected

虽然和impala无关，系统的问题，但是是impala使用中遇到的就加进来了

两个报错常见于操作impala的脚本抛出的报错  ，第一个是资源不可用 第二个是传输端点未连接 。原因是因为跑脚本的机器句柄数不足，系统抛出的一个错误，适当调大句柄数即可

ulimit -n 看一下当前的句柄数 一般是1024

ulimit -HSn  4096

其中-S是soft软限制模式，-H指hard硬限制模式

#默认是软限制，如果只知道-n，那就会同时配置-SH

以上是临时修改 

永久修改的方法:
修改服务器配置：
vim /etc/systemd/system.conf
查找并修改下列两行的值或直接添加：

DefaultLimitNOFILE=1024000
DefaultLimitNPROC=1024000

vim /etc/security/limits.conf
在文件中末尾添加：
星号为任意用户 或者*替换为root 为指定root用户

*            soft    fsize           unlimited
*            hard    fsize           unlimited
*            soft    cpu             unlimited
*            hard    cpu             unlimited
*            soft    as              unlimited
*            hard    as              unlimited
*            soft    nofile          1024000
*            hard    nofile          1024000
*            soft    nproc           1024000
*            hard    nproc           1024000

vim /etc/security/limits.d/20-nproc.conf

*          soft    nproc     1024000
root       soft    nproc     unlimited