安装kylin

环境中需要启动的角色:

 Hive Metastore Server

yarn的JobHistory Server

解压

cd /opt

tar -zxvf apache-kylin-2.1.0-bin-cdh57.tar.gz

 mv  /opt/apache-kylin-2.1.0-bin-cdh57  /opt/kylin

添加环境变量到:  命令:  vi  /etc/profile

export BASE_PATH=/opt/cloudera/parcels/CDH/lib

#added by hbase

export HBASE_HOME=$BASE_PATH/hbase

export PATH=$HBASE_HOME/bin:$PATH

#added by HCat

export HCAT_HOME=$BASE_PATH/hive-hcatalog

#added by kylin

 

export KYLIN_HOME=/opt/kylin

export PATH=$PATH:$KYLIN_HOME/bin

export thive_dependency=/etc/hive/conf.cloudera.hive:/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive/*:/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive-hcatalog/share/hcatalog/hive-hcatalog-core-1.1.0-cdh5.12.0.jar

 export JAVA_HOME=/usr/java/jdk1.8.0_162

export PATH=$PATH:$JAVA_HOME/bin

 

生效环境配置

 source /etc/profile

（1）第一步修改bin/kylin.sh，这么做的目的是为了加入$hive_dependency环境，解决后续的两个问题，都是没有hive依赖的原因。

第一个问题是kylinweb界面load hive表会失败，第二个问题是cube build的第二步会报org/apache/Hadoop/hive/conf/hiveConf的错误。

更改如下：

首先 cd /opt/kylin/bin

vi  kylin.sh         

添加

export KYLIN_HOME=/opt/kylin

后定位94行     命令 94G

export HBASE_CLASSPATH_PREFIX=${tomcat_root}/bin/bootstrap.jar:${tomcat_root}/bin/tomcat-juli.jar:${tomcat_root}/lib/*:$hive_dependency:$HBASE_CLASSPATH_PREFIX

 

再修改

cd  /opt/kylin/tomcat/conf   

vi server.xml 

定位73 行   73G

把 on  改off

1. 不启用压缩
2.  

 

解决这个问题对应的要修改kylin的三个配置文件

cd /opt/kylin/conf 

第一个

vi    kylin_job_conf.xml 

#不使用压缩

mapreduce.map.output.compress设置为false

mapreduce.output.fileoutputformat.compress 设置为false

如下图

转存失败重新上传取消

vi   kylin_hive_conf.xml

#不使用压缩

hive.exec.compress.output 设置为false

转存失败重新上传取消

vi kylin_job_conf_inmem.xml 

mapreduce.map.output.compress设置为false

mapreduce.output.fileoutputformat.compress 设置为false

转存失败重新上传取消

修改kylin.properties配置文件

[root@cdh01 conf]#

cd  /opt/kylin/conf

[root@cdh01 hadoop1]#   vi kylin.properties

#修改

kylin.server.cluster-servers=hadoop1:7070,hadoop2:7070,hadoop3:7070

kylin.server.mode=all

kylin.job.retry=2

kylin.job.max-concurrent-jobs=1000

kylin.engine.mr.yarn-check-interval-seconds=10

kylin.engine.mr.reduce-input-mb=500

kylin.engine.mr.max-reducer-number=500

kylin.engine.mr.mapper-input-rows=500000

## Enable dictionary building in MR reducer

kylin.engine.mr.build-dict-in-reducer=true

kylin.cube.max-building-segments=200

#添加配置

kylin.engine.mr.lib-dir=/opt/kylin/lib

kylin.job.jar=/opt/kylin/lib/kylin-job-2.1.0.jar

kylin.coprocessor.local.jar=/opt/kylin/lib/kylin-coprocessor-2.1.0.jar

检查

cd /opt/kylin/bin

建立软连接ln -s /opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive/lib/*  /opt/kylin/lib

执行下面检查命令  会创建kylin目录在hdfs上

./check-env.sh

中间报错 执行hdfs dfs -chmod -R 777 /

后在关闭HDFS检查权限

然后再./check-env.sh

构建kylin集群另外两台有查询的功能

scp  -r  /opt/kylin  root@hadoop2:/opt/

scp  -r  /opt/kylin  root@hadoop3:/opt/

然后在另外两台

添加环境变量到:  命令:  vi  /etc/profile

export BASE_PATH=/opt/cloudera/parcels/CDH/lib

#added by hbase

export HBASE_HOME=$BASE_PATH/hbase

export PATH=$HBASE_HOME/bin:$PATH

#added by HCat

export HCAT_HOME=$BASE_PATH/hive-hcatalog

#added by kylin

export KYLIN_HOME=/opt/kylin

export PATH=$PATH:$KYLIN_HOME/bin

export thive_dependency=/etc/hive/conf.cloudera.hive:/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive/*:/opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive-hcatalog/share/hcatalog/hive-hcatalog-core-1.1.0-cdh5.12.0.jar

 export JAVA_HOME=/usr/java/jdk1.8.0_162

export PATH=$PATH:$JAVA_HOME/bin

 

生效环境配置

 source /etc/profile

cd  /opt/kylin/conf/

[root@cdh01 hadoop1]#   vi kylin.properties

只需要修改

vi /opt/kylin/conf/kylin.properties

修改见下文

kylin.server.mode=query   ###kylin主节点模式，从节点的模式为query，只有这一点不一样

 

另外两台

建立软连接ln -s /opt/cloudera/parcels/CDH-5.12.0-1.cdh5.12.0.p0.29/lib/hive/lib/* /opt/kylin/lib

 

.启动kylin

  [root@hadoop1 kylin]# /opt/kylin/bin/kylin.sh  start

9.登陆kylin

      http://<ip>:7070/kylin

      User: ADMIN

      Pass: KYLIN