Apache Kylin2.5.1 安装教程

今天经历万难终于装上 kylin，记录一下安装过程，主要针对 apache hadoop集群下的 kylin 安装，非 cdh 版本

1. kylin 环境部署

1.1 前置环境

名称	文件	url
hbase	hbase-1.3.1-bin.tar.gz	http://archive.apache.org/dist/hbase/1.3.1/hbase-1.3.1-bin.tar.gz
kylin	apache-kylin-2.5.1-bin-hbase1x.tar.gz	https://archive.apache.org/dist/kylin/apache-kylin-2.5.1/apache-kylin-2.5.1-bin-hbase1x.tar.gz

注意：安装必须要保证集群中有 hadoop hive hbase 环境以及环境变量 ！！！

注意：apache-kylin-2.5.1-bin-hbase1x.tar.gz 对应的是 apache hbase 1.x 版本 ！！！

1.2 上传压缩包

1.将下载好 apache-kylin-2.5.1-bin-hbase1x.tar.gz 上传到集群目录

2.解压

[hadoop@bd01 ~]$  tar -xzvf apache-kylin-2.5.1-bin-hbase1x.tar.gz -C /root/app/kylin/

3.配置 kylin 环境变量

export JAVA_HOME=/root/app/jdk1.8.0_141 
      
export HADOOP_HOME=/root/app/hadoop-2.8.3
export HIVE_HOME=/root/app/hive/apache-hive-1.2.2-bin 
export SPARK_HOME=/root/app/spark/spark-2.2.0-bin-hadoop2.7
export HBASE_HOME=/root/app/hbase/hbase-1.3.1
export KYLIN_HOME=/root/app/kylin/apache-kylin-2.5.1-bin-hbase1x
    
export PATH=./:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:/root/app/scala/scala-2.12.8/bin:/root/app/spark/spark-2.2.0-bin-hadoop2.7/sbin:/root/app/spark/spark-2.2.0-bin-hadoop2.7/bin:$HBASE_HOME/bin:$KYLIN_HOME/bin

配置之后需要让环境变量生效

source /etc/profile

4.在启动之前需要开启 hive 元数据服务（开启之后后台可以发现 runjar 进程）

hive --service metastore &

5.开启 mr 历史服务

1.编辑 hadoop/etc/mapred-site.xml

vim mapred-site.xml 

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!--启用历史服务器-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>bd02:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bd02:19888</value>
</property>
</configuration>

2.开启历史服务

mr-jobhistory-daemon.sh start historyserver

3.测试历史服务是否可用

使用自带 jar 包进行测试

[root@bd01 ~]$ hadoop jar /root/app/hadoop-2.8.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.3.jar pi 1 1

打开 yarn 的控制台

等待 job 运行完成，点击 History
地址栏端口就是你刚才配置的（mapreduce.jobhistory.webapp.address）地址和端口

2. 启动 kylin

我们这里是apache-kylin-2.5.1-bin-hbase1x.tar.gz 并不是 cdh 版本，对应的集群环境不能为 cdh 否则无法启动！

启动之前保证后台 hive 元数据服务，mr历史服务器，hadoop，hbase 已经运行

如下：

---------------------- bd01 -------------------------
30897 NameNode
126208 HRegionServer
30018 QuorumPeerMain
130082 RunJar
18055 RunJar
125992 HMaster
82122 Jps
32171 ResourceManager
---------------------- bd02 -------------------------
24517 DataNode
24987 NodeManager
57645 HRegionServer
24125 QuorumPeerMain
96367 Jps
93279 JobHistoryServer
24735 SecondaryNameNode
---------------------- bd03 -------------------------
22785 DataNode
23205 NodeManager
22423 QuorumPeerMain
55592 HRegionServer
94014 Jps
---------------------- bd04 -------------------------
127637 DataNode
128043 NodeManager
67678 Jps

启停命令

bin/kylin.sh start
bin/kylin.sh stop

start 启动成功后通过 7070 端口访问就可以了

账号 ADMIN 密码 KYLIN 都是大写的
登录成功！