在3个节点的cdh5.14.4上进行kylin2.4.1 搭建

1. 官网：

http://kylin.apache.org/cn/docs24/install/

 

2.下载地址：

https://archive.apache.org/dist/kylin/apache-kylin-2.4.1/

3.在一个节点（slave02）创建目录 并将安装包解压

mkdir /usr/local/apps/

#通过xshell6将下载的压缩包 上传到该目录
tar -zxvf apache-kylin-2.4.1-bin-cdh57.tar.gz
cd apache-kylin-2.4.1-bin
[root@master01 bin]# vim /etc/profile
export KYLIN_HOME=/usr/local/apps/apache-kylin-2.4.1-bin

#环境生效
source /etc/profile

4.将用户切换到hdfs，以有权限在Hdfs创建相关的kylin目录

vim $KYLIN_HOME/bin/check-env.sh

#hadoop ${hadoop_conf_param} fs -mkdir -p $WORKING_DIR
sudo -u hdfs hadoop ${hadoop_conf_param} fs -mkdir -p $WORKING_DIR

#    hadoop ${hadoop_conf_param} fs -mkdir -p $SPARK_EVENTLOG_DIR
     sudo -u hdfs hadoop ${hadoop_conf_param} fs -mkdir -p $SPARK_EVENTLOG_DIR


#    hadoop ${hadoop_conf_param} fs -mkdir -p $SPARK_HISTORYLOG_DIR
     sudo -u hdfs hadoop ${hadoop_conf_param} fs -mkdir -p $SPARK_HISTORYLOG_DIR

5.执行 检查命令 确保用户有权限在 shell 中运行 hadoop, hive 和 hbase cmd，查看是否目录创建成功，不报错即成功

[root@slave02 bin]# $KYLIN_HOME/bin/check-env.sh
Retrieving hadoop conf dir...
KYLIN_HOME is set to /usr/local/apps/apache-kylin-2.4.1-bin
[root@slave02 bin]#

6.启动单节点Kylin

# $KYLIN_HOME/bin/kylin.sh start

7.访问

http://slave02:7070/kylin/login ;初始用户名和密码是 ADMIN/KYLIN。

8. 停止 kylin

[root@slave02 bin]#  $KYLIN_HOME/bin/kylin.sh stop
Retrieving hadoop conf dir...
KYLIN_HOME is set to /usr/local/apps/apache-kylin-2.4.1-bin
Stopping Kylin: 49468
Kylin with pid 49468 has been stopped.

二。在单节点基础上 多节点kylin 部署

2.1 在master01,slave01节点 同上进行配置

2.2 修改各个节点的kylin.properties 中的部分配置

[root@slave02 conf]# pwd
/usr/local/apps/apache-kylin-2.4.1-bin/conf
[root@slave02 conf]# vim kylin.properties 

## Kylin server mode, valid value [all, query, job]
kylin.server.mode=all
#
## List of web servers in use, this enables one web server instance to sync up with other servers.
kylin.server.cluster-servers=slave02:7070,slave01:7070,master01:7070

[root@slave01 conf]# vim kylin.properties 

## Kylin server mode, valid value [all, query, job]
kylin.server.mode=query
#
## List of web servers in use, this enables one web server instance to sync up with other servers.
kylin.server.cluster-servers=slave02:7070,slave01:7070,master01:7070

[root@master01 conf]# vim kylin.properties 

## Kylin server mode, valid value [all, query, job]
kylin.server.mode=query
#
## List of web servers in use, this enables one web server instance to sync up with other servers.
kylin.server.cluster-servers=slave02:7070,slave01:7070,master01:7070

kylin.server.mode=all,job,query (这个决定了当前kylin节点所担任的角色，一个Kylin集群只能有一台作业引擎，也即只能有一台节点的这个配置项目为all或者job ， 可以有多台query节点)

kylin.server.cluster-servers=slave02:7070,slave01:7070,master01:7070（这个配置项是Kylin用来同步各个节点的状态的，否则负载均衡下面跳转到不同的页面看到的不一致）

2.3 所有节点启动

# $KYLIN_HOME/bin/kylin.sh start

2.4 访问（slave02 作为作业引擎，kylin.server.mode=all）

http://slave02:7070/kylin/login ;初始用户名和密码是 ADMIN/KYLIN。

安装完成~~~

三. 运行官方测试数据 

3.1

[root@slave02 bin]# pwd
/usr/local/apps/apache-kylin-2.4.1-bin/bin
[root@slave01 bin]# sh sample.sh

 

3.2

3.3

 

3.4 为非hdfs用户授写权限

[root@slave02 bin]# su hdfs
bash: /var/lib/hadoop-hdfs/.bashrc: 权限不够
bash-4.2$ hdfs dfs -chmod -R 777 /kylin
bash-4.2$ su
密码：
[root@slave02 bin]# hdfs dfs -ls /
Found 4 items
drwxr-xr-x   - hbase hbase               0 2018-10-16 08:48 /hbase
drwxrwxrwx   - hdfs  supergroup          0 2018-10-16 09:31 /kylin
drwxrwxrwt   - hdfs  supergroup          0 2018-10-16 10:51 /tmp
drwxr-xr-x   - hdfs  supergroup          0 2018-07-20 10:50 /user

3.5 在action 处选择resume（重新build），progress由pending 过了一会就变成running状态了

 

3.6 百分之百

3.7  Model  为ready 表示可以查询了

3.8 进行查询

可以明显感觉到查询速度非常快。

 

四. 自定义例子，使用kylin，构建多维索引，然后查询

4.1 创建 project

4.2 创建相关hive表 ：student,score (student.txt,score.txt 通过hue load 数据进 test数据库里面)

4.3 创建model

 

 

 

 

设置度量

 

 

 

 

五、例子2

 

 

 

全选

 

 

 

cube创建完之后，build的时候 如果报下面错：

则将map的内存大小修改小一点，如下：

[root@slave02 conf]# pwd
/usr/local/apps/apache-kylin-2.4.1-bin/conf

[root@slave02 conf]# vim kylin_job_conf_inmem.xml
  
 <!--Additional config for in-mem cubing, giving mapper more memory -->
    <property>
        <name>mapreduce.map.memory.mb</name>
        <!--<value>3072</value> -->
        <value>1024</value>
        <description></description>
    </property>