Apache kylin安装配置

Apache kylin是基于 hadoop hive hbase的。

一、安装hadoop

注：需要启动 history  与 WebAppProxyServer

./mr-jobhistory-daemon.sh start historyserver
./yarn-daemon.sh --config $HADOOP_CONF_DIR start proxyserver  

二、安装hbase

三、安装hive

四、安装kylin

---

1、配置环境变量

加上kylin 的环境变量

 
 
#java_home
export JAVA_HOME=/usr/java/jdk1.7.0_79
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JER_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JER_HOME/bin:$PATH
##HBASE
export HBASE_HOME=/home/lin/hbase-1.1.2
export HBASE_CONF_DIR=/home/lin/hbase-1.1.2/conf
export PATH=$PATH:$HBASE_HOME/bin
#hadoop_home
export HADOOP_HOME=/home/lin/hadoop-2.6.1
export HADOOP_CONF_DIR=/home/lin/hadoop-2.6.1/etc/hadoop
export YARN_CONF_DIR=/home/lin/hadoop-2.6.1/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
#hive_home
export HIVE_HOME=/home/lin/apache-hive-1.2.1-bin
export HCAT_HOME=$HIVE_HOME/hcatalog
export HIVE_CONF=$HIVE_HOME/conf
export PATH=$PATH:$HIVE_HOME/bin

生效环境变量

 
 
source  /etc/profile

2、配置kylin.properties      

 
 
# List of web servers in use, this enables one web server instance to sync up with other servers.
kylin.rest.servers=192.168.0.222:7070

这里可以配置多个，用逗号分隔。

 
 
# Kylin server mode, valid value [all, query, job]
kyin.server.mode=all

这里可以使用all，job或者query。

 
 

# Hive database name for putting the intermediate flat tables
kylin.job.hive.database.for.intermediatetable=lin

3、检查环境

 
 
bin/check-env.sh

4、启动kylin

 
 
bin/kylin.sh start

5、停止kylin

 
 
bin/kylin.sh stop

注：访问时候使用 ip:7070  ;  ADMIN/KYLIN

五：数据准备

---

使用kylin给的demo。执行bin里面的

  
  
[root@bjspxt bin]# ./sample.sh 

出现如下语句，证明创建成功

  
  
Sample cube is created successfully in project 'learn_kylin'.
Restart Kylin server or reload the metadata from web UI to see the change.

生成准备数据，需要重启kylin。重启后会有项目 learn_kylin。

查看hive

  
  
hive> show tables;
OK
kylin_cal_dt
kylin_category_groupings
kylin_country
kylin_sales
Time taken: 1.952 seconds, Fetched: 4 row(s)

证明已经成功。

表关系如下：

六、在kylin上进行数据建模

---

执行kylin的demo后，重启kylin后 会有demo所包含的 project  model cube 自己只用运行就行了。下面只是我做的一个例子，仅供步骤参考：

1、建立项目： 点击左上方的+号新建项目 user_info;

2、同步hive的数据源：在model中选择Data Source ，同步数据源

3、建立数据模型model：选择new model。命名model 选择table

选择维度数据：

4、建立数据cube：

 （1）选择之前建立的model，自己填写cube name，其中邮箱填写后可以收到相关通知信息，通知消息类型在下面选择。

（2）设计维度：

add demension。选择normal。建立维度。

（3）设计指标

+measure。

（4）其他参数设置，合并时间，保留时间等

七、执行建模数据

---

1、在cube开面可以看到刚刚建立的cube，在action里面选择build

2、在monitor里面可以查看job运行状态

3、成功后，在cube界面，可以看到ready的cube，查看他的详细信息。

然后在页面可以进行查询