CDH集成KUDU

安装 Kudu
1. 安装 CSD 文件
这里假设用户通过 Cloudera Manager 添加服务向导来部署 Kudu 1.0。
1) 下载CSD文件
wget http://archive.cloudera.com/beta/kudu/csd/KUDU-1.0.0.jar
2) 并把下载的jar文件移动到/opt/cloudera/csd目录
mv KUDU-1.0.0.jar /opt/cloudera/csd/

3) 修改文件的owner及权限
chown cloudera-scm:cloudera-scm /opt/cloudera/csd/KUDU-1.0.0.jar
chmod 644 /opt/cloudera/csd/KUDU-1.0.0.jar
4) 重启cloudera management服务
service cloudera-scm-server restart
2. 安装Kudu软件
1) 管理员用户登录部署 Cloudera Manager 的机器:
2) Parcel配置 中设置Kudu Parcel 包下载地址:
http://archive.cloudera.com/beta/kudu/parcels/1/
（说明：如果安装使用的是本地repo，请下载parcels包，创建本地repo后配置本地repo地址）
3) 通过 Cloudera Manager 管理界面(Parcel 管理界面)下载、分发、激活 Kudu Parcel 包。
(https://img-blog.csdn.net/20170214150352384?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMjYzOTgwMzM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
3. 安装配置Kudu实例
1) 在 Cloudera Manager 管理界面添加 Kudu 服务
2) 配置Kudu角色
3) 配置Kudu参数(主要是存储WAL、数据的文件目录)
(https://img-blog.csdn.net/20170214150235930?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMjYzOTgwMzM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
4) 关于配置 block_manager的问题
并非所有文件系统格式都需要设置该选项。ext4、xfs格式支持hole punching，所以不需要设置block_manager=file，但是ext3 格式需要。可以通过df命令来查看文件系统的格式。
[root@CM-NODE ~]# df -Th
Filesystem Type Size Used Avail Use% Mounted on
/dev/vda1 ext4 40G 23G 15G 61% /
tmpfs tmpfs 16G 0 16G 0% /dev/shm
/dev/vdb1 ext3 99G 188M 94G 1% /mnt/sdb
/dev/vdc1 ext3 99G 188M 94G 1% /mnt/sdc
cm_processes tmpfs 16G 12M 16G 1% /var/run/cloudera-scm-agent/process
如果是ext3 格式，请在kudu服务的配置中，找到属性Kudu (Beta) Service Advanced Configuration Snippet (Safety Valve) for gflagfile，并添加如下行：
–block_manager=file
5) 启动 Kudu 服务
安装 Impala on Kudu

1. 卸载原先安装的 Impala
Impala服务 (stop > Delete)
2. 重新下载 Impala on Kudu 的 Parcel 包，下载地址:
http://archive.cloudera.com/beta/impala-kudu/parcels/0.8/
（说明：如果安装使用的是本地repo，请下载parcels包，创建本地repo后配置本地repo地址）
3. 安装Impala_Kudu软件包
通过 Cloudera Manager 管理界面(Parcel 管理界面)下载、分发、激活 Impala on Kudu Parcel 包: 通过添加服务向导添加 Impala 服务,添加完毕后
4. 修改 Impala 配置，启动Impala on Kudu
(https://img-blog.csdn.net/20170214150507261?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMjYzOTgwMzM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
5. 重启 Impala 服务
6. 修改 Impala-shell 二进制程序链接
由于系统的impala-shell仍然是链接到默认的impala程序，需要修改其链接。
1) 使用命令 alternatives –display impala-shell 查看当前的版本。
(https://img-blog.csdn.net/20170214150626628?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMjYzOTgwMzM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
链接依然指向卸载之前的impala版本，应指向第二个IMPALA_KUDU
2) 使用命令修改为正确版本
alternatives –set impala-shell /opt/cloudera/parcels/IMPALA_KUDU-2.6.0-1.cdh5.8.0.p0.17/bin/impala-shell
3) 再 alternatives –display impala-shell
验证修改成功
(https://img-blog.csdn.net/20170214150709529?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMjYzOTgwMzM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
验证 impala-shell 版本
impala-shell