Kylin3.1.1集成CDH6.2.1

Kylin3.1.1集成CDH6.2.1

说明

目前集群用的cdh6.2.1的，之前集群用的CDH5.7的版本集成过apache-kylin-2.6.6-bin-cdh57的KYLIN，这次版本升级挑选了适合的版本进行适配
目标：KYLIN集成CDH6.2.1

1.下载

地址：https://archive.apache.org/dist/kylin/apache-kylin-3.1.1/

2.上传tar包并解压

tar-zxvf XXX
以下是文件目录

KYLIN配置
修改环境变量
目前3.1.1Kylin会依赖多个组件，hadoop、hbase、hive、kafka、spark、flink等。

3.修改配置

修改hdfs用户权限
使hdfs用户可以ssh登录
usermod -s /bin/bash hdfs
切换到hdfs用户在hdfs的跟目录下创建kylin目录，后面用于kylin存储元数据等等信息
su hdfs
hdfs dfs -mkdir /kylin
hdfs dfs -chmod a+rwx /kylin

JAVA兼容hbase
编辑${HBASE_HOEM}/bin/hbase,增加jar地址

为kylin节点添加jar包
cp /opt/cloudera/cm/common_jars/commons-configuration-1.9.cf57559743f64f0b3a504aba449c9649.jar /opt /apache-kylin-3.1.1-bin-cdh60/tomcat/lib

kylin启动

bin/kylin.sh start
处理的bug
启动时无异常应该如下：

1、Permission denied: user=root, access=WRITE, inode="/kylin":hdfs:hdfs

解决方法：

su - hdfs

hdfs dfs -mkdir /kylin

hdfs dfs -chmod a+rwx /kylin

2、Something wrong with Hive CLI or Beeline, please execute Hive CLI or Beeline CLI in terminal to find the root cause.

解决方法：

vim bin/find-hive-dependency.sh (第37行)

hive_env=hive ${hive_conf_properties} -e set 2>&1 | grep 'env:CLASSPATH' 中的变量 ${hive_conf_properties}去掉（未配置此变量），即修改为

hive_env=hive -e set 2>&1 | grep 'env:CLASSPATH'

未解决，发现hive无法单独启动：
"Cannot find hadoop installation: $HADOOP_HOME or $HADOO{P}_{P}REFIXmustbesetorhadoopmustbeinthepath."经研究是hive无法找到hadoop的地址修改hive-env.sh配置文件，增加HADOO{P}_{H}OME=${HADOOP_HOME}
查验环境：
bin/check-env.sh

无异常后启动
bin/kylin.sh start

Success