Centos7.X安装impala（RPM方式）

Centos7.5安装Impala

一、安装包准备

1.1、Impala下载地址

http://archive.cloudera.com/beta/impala-kudu/redhat/7/x86_64/impala-kudu/0/RPMS/x86_64/

 

1.2、impala依赖下载地址

http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.9.0/RPMS/noarch/

 

1.3、Impala其他依赖

cyrus-sasl-plain lsb

由于lsb依赖过多，需要在内网配置一个本地yum源；且大数据平台需要配置一个统一ntp时间同步服务器；

 

1.4、将下载好的rpm包上传服务器

• 二、实施安装

（hadoop，hive集群已安装好，且正常启动状态）

2.1、安装其他依赖

cyrus-sasl-plain lsb ntp服务,如果ntp服务单独在整个大数据平台安装，此处就不需要安装

yum install -y cyrus-sasl-plain lsb （主从节点）

2.2、安装rpm包

主节点：

sudo rpm -ivh bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm

sudo rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps

sudo rpm -ivh impala-kudu-catalog-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-state-store-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

从节点：

sudo rpm -ivh bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm

sudo rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps

sudo rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

三、配置impala

3.1、配置bigtop-utils

vim /etc/default/bigtop-utils（主从节点）

3.2、配置impala

/etc/default/impala（主从节点）

IMPALA_CATALOG_SERVICE_HOST=infobeat-web   #infobeat-web为impala主节点域名

IMPALA_STATE_STORE_HOST=infobeat-web   #infobeat-web为impala主节点域名

 

3.3、整合hdfs和hive

配置impala的conf文件（主从节点）

把hadoop配置文件core-site.xml和hdfs-site.xml，以及hive配置文件hive-site.xml拷贝到/etc/impala/conf.dist/目录下

同时编辑core-site.xml、hdfs-site.xml配置文件，在原有基础上追加如下修改：

#hdfs-site.xml

<!--impala configuration -->

<property>

<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.block.local-path-access.user</name>

<value>impala</value>

</property>

<property>

<name>dfs.client.file-block-storage-locations.timeout.millis</name>

<value>60000</value>

</property>

<property>

<name>dfs.domain.socket.path</name>

<value>/var/run/hadoop-hdfs/dn._PORT</value>      #hadoop-hdfs手动创

</property>

 

# core-site.xml

<!--impala configuration -->

<property>

<name>dfs.client.read.shortcircuit</name>

<value>true</value>

</property>

<property>

<name>dfs.client.read.shortcircuit.skip.checksum</name>

<value>false</value>

</property>

<property>

<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

<value>true</value>

</property>

3.4、重启hadoop集群

stop-all.sh

3.5、设置scoket path

在目录/var/run/目录下新建目录hadoop-hdfs(主从节点)

注意：该文件夹可能已经存在，应当确认用impala是否有权限进行读写。如果已经存在，将用户impala加入该文件所属的组，并修改该文件组的权限即: chown -R 775 hadoop-hdfs/

[root@hadoop]# cd /var/run/ #进入目录/var/run/

[root@hadoop]#mkdir hadoop-hdfs #创建目录hadoop-hdfs文件夹

[root@hadoop]# chown -R 775 hadoop-hdfs/ #设置权限

3.6、权限配置

如果想要impala和yarn合作，需要把impala用户加入hdfs组(主从节点)；

impala在执行drop table操作时，需要把文件移到到hdfs的回收站，所以需要创建一个hdfs的目录/user/impala，并将其设置为impala用户可写。

同样，impala需要读取hive数据仓库下的数据，故需要把impala用户加入hive组。

[root@hadoop]#usermod -G hdfs,hadoop impala

[root@hadoop]# groups impala

impala:impala hdfs hadoop

另：创建impala在hdfs上的目录并设置权限

[root@hadoop]$ hadoop fs -mkdir -p /user/impala

[root@hadoop]$ hadoop fs -chown impala /user/impala

3.7、添加mysql驱动

在/var/lib/impala/目录下面添加mysql驱动jar

四、启动impala

4.1、启动主节点

[root@hadoop]# service impala-state-store restart

[root@hadoop]# service impala-catalog restart

[root@hadoop]# service impala-server restart

4.2、启动从节点

[root@hadoop]# service impala-server restart

4.3、服务验证

注意：

1、因为impala安装需要root权限，所以可以给hadoop用户添加sudo权限

gpasswd -a hadoop wheel #root执行