apache版本kudu kudu-impala安装方法

kudu安装方法简介

第一步：下载rpm包

http://archive.cloudera.com/kudu/redhat/6/x86_64/kudu/5.12.2/RPMS/x86_64/

    kudu-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    kudu-client-devel-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    kudu-client0-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    kudu-debuginfo-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    kudu-master-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    kudu-tserver-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm

第二步：安装rpm包

    kudu-master节点安装：

    rpm -ivh kudu-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-client-devel-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-client0-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-debuginfo-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-master-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-tserver-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm

    kudu-tserver节点安装（不安装kudu-master）：

    rpm -ivh kudu-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-client-devel-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-client0-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-debuginfo-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm
    rpm -ivh kudu-tserver-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el6.x86_64.rpm

第三步：配置

    kudu配置项分为稳定配置（stable）,高级配置（advanced）；

    稳定配置可用于配置常见任务；

    高级配置包含有一些正在进行尝试的调试，可能会引起bug；

    采用rpm安装之后，配置文件默认存在/etc/kudu/conf

    kudu-master节点：

        ----master.gflagfile

           配置项：

          ----block_cache_capacity_mb    块高速缓存容量（MB）

          ----log_force_fsync_all                每次写入后，Log/WAL 是否应显式调用

          ----fs_data_dirs                             Master 将放置其数据块的目录的逗号分隔列表

          ----master-addresses                   kudu-master的rpc通讯地址，不指定默认为单节点

          ----fs_wal_dir                                Master 将其预写日志的目录

          ----log_dir                                    存储主日志文件的目录。

        ----tserver.gflagfile

          ----fs_data_dirs            Tablet Server 将放置其数据块的目录的逗号分隔列表

          ----fs_wal_dir                Tablet Server 将放置预写日志的目录

          ----log_dir                     存储 Tablet Server 日志文件的目录

          ----tserver_master_addrs          tablet server 应连接的主机的逗号分隔地址

          ----block_cache_capacity_mb       分配给 Kudu Tablet Server 块缓存的最大内存量

          ----memory_limit_hard_bytes    Tablet Server 预存传入并未写入时消耗的最大内存量

   kudu-tserver节点：                

       参照master的kudu-tserver配置

第四步：ntp服务检测与安装

[root@mrj001 kudu]# yum -y install cyrus-sasl-plain lsb ntp 
[root@mrj001 kudu]# rpm -ivh *

第三步：配置文件

配置主、从机 
/etc/kudu/conf/tserver.gflagfile 
–tserver_master_addrs=mrj001:7051

/etc/default/kudu-master 
export FLAGS_rpc_bind_addresses=mrj001:7051 
/etc/default/kudu-tserver 
export FLAGS_rpc_bind_addresses=hadoop6:7050

第四步：设置ntpd服务

参考本人所写：https://my.oschina.net/u/3376452/blog/868649

第五步：设置目录权限

mkdir /opt/var/lib/kudu -p 
chown -R kudu:kudu /opt/var/lib/kudu

第六步：启动kudu

[root@mrj001 default]# /etc/init.d/kudu-master start 
[root@hadoop6 default]# /etc/init.d/kudu-tserver start

第七步：在ui访问kudu

http://192.168.0.119:8051/ 
http://192.168.0.120:8050/

 

安装apache的impala-kudu

第一步：

http://archive.cloudera.com/beta/impala-kudu/redhat/6/x86_64/impala-kudu/0/RPMS/x86_64/ 
http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/RPMS/noarch/

第二步：

rpm -ivh bigtop-utils-0.7.0+cdh5.12.0+0-1.cdh5.12.0.p0.37.el6.noarch.rpm 
rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm –nodeps 
rpm -ivh impala-kudu-catalog-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm 
rpm -ivh impala-kudu-state-store-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm 
rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm 
yum install -y python-setuptools 
rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm 
rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el6.x86_64.rpm 
主节点安装catalog和state-store 
从节点不要安装catalog和state-store

第三步：

vim /etc/default/bigtop-utils 
export JAVA_HOME=/home/local/jdk1.8.0_131/ 
vim /etc/default/impala 
IMPALA_CATALOG_SERVICE_HOST=192.168.0.116 
IMPALA_STATE_STORE_HOST=192.168.0.116 
cd /etc/impala/conf.dist 
cp -a /opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop/core-site.xml . 
cp -a /opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop/hdfs-site.xml .

 

转载于:https://my.oschina.net/u/3376452/blog/868650