Impala安装部署
温馨提示:建议安装之前先给集群快照。(安装Impala时,Impala会重新安装hadoop等组件,可能导致集群混乱)
1.安装前提
集群提前安装好hadoop,hive。
hive安装包scp在所有需要安装impala的节点上,因为impala需要引用hive的依赖包。
hadoop框架需要支持C程序访问接口,查看下图,如果有该路径下有这么文件,就证明支持C接口。
2.下载安装包、依赖包
由于impala没有提供tar包进行安装,只提供了rpm包。因此在安装impala的时候,需要使用rpm包来进行安装。rpm包只有cloudera公司提供了,所以去cloudera公司网站进行下载rpm包即可。
但是另外一个问题,impala的rpm包依赖非常多的其他的rpm包,可以一个个的将依赖找出来,也可以将所有的rpm包下载下来,制作成我们本地yum源来进行安装。这里就选择制作本地的yum源来进行安装。
所以首先需要下载到所有的rpm包,下载地址如下
http://archive.cloudera.com/cdh5/repo-as-tarball/5.14.0/cdh5.14.0-centos6.tar.gz
3.虚拟机新增磁盘(可选)
由于下载的cdh5.14.0-centos6.tar.gz包非常大,大概5个G,解压之后也最少需要5个G的空间。而我们的虚拟机磁盘有限,可能会不够用了,所以可以为虚拟机挂载一块新的磁盘,专门用于存储的cdh5.14.0-centos6.tar.gz包。
4.配置本地yum源信息
安装Apache Server服务器
yum -y install httpd
service httpd start
chkconfig httpd on
配置本地yum源的文件
cd /etc/yum.repos.d
vim localimp.repo
[localimp]
name=localimp
baseurl=http://局域网yum源的IP/解压后的压缩包名(我的是cdh)
gpgcheck=0 (说明:是否检查 0=不检查)
enabled=1 (说明:是否启用 1=启用)
创建apache httpd的读取链接
ln -s /cloudera_data/cdh/5.14.0 /var/www/html/cdh5.14.0
确保linux的Selinux关闭
永久关闭:
[root@localhost ~]# vim /etc/selinux/config
SELINUX=enforcing 改为 SELINUX=disabled
重启服务reboot
通过浏览器访问本地yum源,如果出现下述页面则成功。
http://局域网yum源的IP/cdh5.14.0/
将本地yum源配置的repo文件发放到所有需要安装impala的节点。
cd /etc/yum.repos.d/
scp 刚才编辑过的repo文件 从节点1:$PWD
scp 刚才编辑过的repo文件 从节点2:$PWD
5.安装Impala
主节点安装
yum install -y impala impala-server impala-state-store impala-catalog impala-shell
从节点安装
yum install -y impala-server
下载nc
yum -y install nc
6.修改Hadoop、Hive配置
需要在3台机器整个集群上进行操作,都需要修改。hadoop、hive是否正常服务并且配置好,是决定impala是否启动成功并使用的前提。
6.1 修改hive配置
可在主节点机器上进行配置,然后scp给其他2台机器。
vim /export/servers/hive/conf/hive-site.xml(我的hive解压目录是在/export/servers下)
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node-1:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.