ubuntu18.04 下ambari+kudu+impala的安装

1.简介

kudu在大数据平台的应用越来越广泛。在阿里、小米、网易等公司的大数据架构中，KUDU 都有着不可替代的地位。性能秒杀Apache Phoenix，Kudu 的执行时间通常在 Hive 的十分之一左右,最主要解决了Hive不支持实时数据更新，虽然 ORC看起来能实现数据更新，但延迟、吞吐量都想当捉急，显得非常鸡肋。kudu解决了OLAP和OLTP之间不可调和的鸿沟，使其在保证高速查询性能的前提下还能实现快速的数据分析，可以说完美的将hbase和hive集成在一起。kudu配置精简、稳定性好，在连续高负载情况下也没有宕机，资源占用率低（这个非常关键），性能相当不错，可以说完全碾压hive。相信kudu会得到越来越广泛的应用。
kudu通常和impala搭配使用，都是cloudera公司出品，如果使用CDH安装，则比较简单，但是如果要和ambari一起使用，就略麻烦一些，因为hdp官方暂时不支持kudu和impala，而且hdp的cdh的hadoop版本也不同步，本文解决在ubuntu下安装kudu和impala,仅供学习使用。

2.环境准备

安装前提是安装了我上一篇安装的ambari2.7.3+HDP3.1.0，首先，先备份一下/usr/bin目录，因为kudu和impala都是cloudera编译的二进制包，需要和cdh的hadoop配合使用，安装完，/usr/bin目录下的hadoop,hive都会被替换成CDH的版本，我们要使用ambari，就要保留HDP版本的组件。

// A code block
cp -rf /use/bin /use/bin2 

组件	版本
kud	1.10.0
implala	3.2.0
CDH	6.3.2
HDP	3.1.0
JDK	1.8.0

3.安装kudu

3.1 配置apt

在/etc/apt/sources.list.d目录下,先备份移除ambari-hdp1.list,以及其他HDP相关的仓库信息,
再新增文件cloudera.list，内容如下

deb [arch=amd64] https://archive.cloudera.com/cdh6/6.3.2/ubuntu1804/apt/ bionic-cdh6.3.2 contrib
deb-src https://archive.cloudera.com/cdh6/6.3.2/ubuntu1804/apt/ bionic-cdh6.3.2 contrib

执行apt-get update更新一下

3.2 在线安装

sudo apt-get install kudu # Base Kudu files
sudo apt-get install kudu-master # Service scripts for managing kudu-master
sudo apt-get install kudu-tserver # Service scripts for managing kudu-tserver
sudo apt-get install libkuduclient0 # Kudu C++ client shared library
sudo apt-get install libkuduclient-dev # Kudu C++ client SDK

3.3 启动服务

sudo service kudu-master start
sudo service kudu-tserver start

3.4 打开web检查

浏览器打开　http://localhost:8051/

3.5 关闭服务

sudo service kudu-master stop
sudo service kudu-tserver stop

4.安装impala

4.1 在线安装

执行下面命令，如果后面提示缺少哪个组件，参考下面命令，继续安装即可，由于本人已经安装成功，可能漏了个别依赖组件
sudo apt-get install hadoop-client
sudo apt-get install hive-jdbc
sudo apt-get install hive
sudo apt-get install hive-hcatalog
sudo apt-get install impala
sudo apt-get install impala-catalog
sudo apt-get install impala-server
sudo apt-get install impala-shell

4.2 修改配置

配置bigtop-utils,vim /etc/default/bigtop-utils

export JAVA_HOME=/opt/java8/jdk1.8.0_18

修改impala配置

export HADOOP_HOME=/usr/hdp/3.1.0.0-78/hadoop
export HIVE_HOME=/usr/hdp/3.1.0.0-78/hive
cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml /etc/impala/conf
cp $HADOOP_HOME/etc/hadoop/core-site.xml /etc/impala/conf
cp $HIVE_HOME/conf/hive-site.xml /etc/impala/conf

vim /etc/default/impala

IMPALA_CATALOG_SERVICE_HOST=127.0.0.1
IMPALA_STATE_STORE_HOST=127.0.0.1
IMPALA_STATE_STORE_PORT=24000
IMPALA_BACKEND_PORT=22000
IMPALA_LOG_DIR=/var/log/impala

IMPALA_CATALOG_ARGS=" -log_dir=${IMPALA_LOG_DIR} "
IMPALA_STATE_STORE_ARGS=" -log_dir=${IMPALA_LOG_DIR} -state_store_port=${IMPALA_STATE_STORE_PORT}"
IMPALA_SERVER_ARGS=" \
    -log_dir=${IMPALA_LOG_DIR} \
    -catalog_service_host=${IMPALA_CATALOG_SERVICE_HOST} \
    -state_store_port=${IMPALA_STATE_STORE_PORT} \
    -use_statestore \
    -state_store_host=${IMPALA_STATE_STORE_HOST} \
    -be_port=${IMPALA_BACKEND_PORT} \
    -kudu_master_hosts=127.0.0.1:7051 "

ENABLE_CORE_DUMPS=false

# LIBHDFS_OPTS=-Djava.library.path=/usr/lib/impala/lib
MYSQL_CONNECTOR_JAR=/usr/share/java/mysql-connector-java-8.0.13.jar
IMPALA_BIN=/usr/lib/impala/sbin
IMPALA_HOME=/usr/lib/impala
# HIVE_HOME=/usr/lib/hive
# HBASE_HOME=/usr/lib/hbase
IMPALA_CONF_DIR=/etc/impala/conf
HADOOP_CONF_DIR=/etc/impala/conf
HIVE_CONF_DIR=/etc/impala/conf

4.3 还原/usr/bin目录

cp /usr/bin /usr/bin3
cp -rf /usr/bin2 /usr/bin

4.4 启动impala

service impala-state-store start
service impala-catalog start
service impala-server start

4.5 测试

使用impala-shell进行查询

测试sql