Impala安装杂记

本次安装的版本 1.4版本

cd /etc/yum.repos.d

wget  http://archive.cloudera.com/impala/redhat/5/x86_64/impala/cloudera-impala.repo

Impala的三个组件说明：
impalad ：Implala的后台进程，安装在每一台datanode节点上。接受客户端发送的请求，作为中间发起者，将该请求转发其他节点进行并行计算，并充当结果合并者的角色将结果吐回客户端
statestored：用于协调各个运行impalad的实例之间的信息关系，比如跟踪各个impalad实例的状态及位置。选择安装在某个节点上。
impala-shell ： Impala的命令行接口，

通常只是在需要的节点上安装对应的服务：
在 hive metastore 所在节点安装impala-state-store和impala-catalog
在 DataNode 所在节点安装 impala-server 和 impala-shell

[注意事项]

statestored如果挂了,impalad实例依旧会接受查询请求，但无法做更新操作。新增加的impalad节点目前是无法被其他节点所识别。

statestored重启后，各个impalad实例会被重新更新

[安装过程]

yum install -y impala

yum install -y impala-server #安装服务的启停脚本

yum install -y impala-state-store #安装服务启停脚本

yum install -y impala-catalog  

#client

yum install -y impala-shell

usermod -a -G hadoop  impala

cd /etc/hadoop/conf

#impala的配置需要如下三个配置，为了方便从一个节点拉取配置

rsync 某ip::hadoop_conf/hdfs-site.xml .

rsync  某ip ::hadoop_conf/core-site.xml .

rsync  某ip ::hadoop_conf/hive-site.xml .

mkdir /etc/impala/conf

cp /etc/hadoop/conf/hdfs-site.xml  /etc/impala/conf

cp /etc/hadoop/conf/core-site.xml  /etc/impala/conf

cp /etc/hadoop/conf/hive-site.xml  /etc/impala/conf

cp /etc/hive/conf/hive-site.xml   /etc/impala/conf

#hdfs getconf -confKey dfs.client.file-block-storage-locations.timeout 

#这是一个获取hdfs配置的命令，用于查看配置，检查配置是否生效

#启动服务 

service  impala-state-store start

#只在一个节点启动

service  impala-catalog start

#只在一个节点启动

service  impala-server start

#所有节点启动

我安装的版本里并没有/usr/bin/impalad/sbin目录

所以临时修改的/usr/bin/impalad里的环境变量为

export IMPALA_BIN=${IMPALA_BIN:-/usr/lib/impala/sbin-debug}

既将sbin 替换为 sbin-debug#也可以通过添加软连接解决

impala-state-store和impala-catalog启动一台node即可，且此两个服务必须在同一个node上,最好在一台单独的node上

遇到的问题：

1.

<property>
   <name>dfs.client.use.legacy.blockreader.local</name>
   <value>false</value>
</property>

要配置成false

2.注意你机器上mysql客户端的位置 或者是在/etc/default/impala这个默认配置文件里修改

export MYSQL_CONNECTOR_JAR=$HOME/hive/lib/mysql-connector-java-5.1.16-bin.jar:$MYSQL_CONNECTOR_JAR  

不用复制hive lib下的相关库文件，比如core ,rdms ，可能把mysql的jar复制到/usr/share/java下即可，可以从/usr/bin/catalogd中看出来

cp /usr/lib/hive/lib/mysql-connector-java-5.0.8-bin.jar  /usr/share/java/mysql-connector-java.jar

将hive的core和rdbms包copy过去，还要修改 /usr/bin/catalogd，里面是些硬编码，找到这两个文件，改成相对应的版本号。

3.指向问题

ERROR: AnalysisException: Failed to load metadata for table: default.apachelog
CAUSED BY: TableLoadingException: Failed to load metadata for table: apachelog
CAUSED BY: IllegalArgumentException: Wrong FS: hdfs://****/**/, expected: hdfs://mycluster

实践后发现需要在/etc/impala/conf/hdfs-site.xml下增加

  <property>