在CDH5.7上安装Kylin2.1单例模式及集群模式

Kylin需要在一个Hadoop环境才能运行,本文默认您在安装Kylin前已经安装了hdfs,hive,hbase。
这里写图片描述


下载安装包

Kylin官网下载地址:http://kylin.apache.org/download/
根据自己的CDH版本下载相应的压缩包

解压&配置环境变量

我把apache-kylin-2.1.0-bin-cdh57.tar.gz放在/opt目录下
解压:

tar -xvf apache-kylin-2.1.0-bin-cdh57.tar.gz

配置环境变量

vi /etc/profile

增加

export KYLIN_HOME=/opt/apache-kylin-2.1.0-bin-cdh57

保存后

source /etc/profile

使其生效

配置Kylin.properties

修改kylin.server.cluster-servers为自己的服务器IP

kylin.server.cluster-servers=10.10.1.200:7070

增加(修改成自己的jar包所在的目录)

kylin.job.jar=/opt/apache-kylin-2.1.0-bin-cdh57/lib/kylin-job-2.1.0.jar
kylin.coprocessor.local.jar=/opt/apache-kylin-2.1.0-bin-cdh57/lib/kylin-coprocessor-2.1.0.jar
kylin.job.yarn.app.rest.check.status.url=http://10.10.1.7:8088/ws/v1/cluster/apps/${job_id}?anonymous=true

执行./check-env.sh

这个命令会在hdfs上先创建/kylin目录,执行时会有权限问题,要在切换到hdfs用户目录下执行,否则会出现

mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x
failed to create /kylin, Please make sure the user has right to access /kylin

启动Kylin

./bin/kylin start

最后输出如下,表示启动成功:

A new Kylin instance is started by hdfs. To stop it, run 'kylin.sh stop'
Check the log at /opt/apache-kylin-2.1.0-bin-cdh57/logs/kylin.log
Web UI is at http://<hostname>:7070/kylin

登录Kylin
User: ADMIN
Pass: KYLIN

大功完成,安装过程起始很简单,主要就是要注意下权限的问题。

Kylin集群模式

上述为Kylin安装的单例模式,接下来是简单的集群模式。
绝大多数采用的Kylin的集群部署方式有两种:
(1)基于CDH的HBASE部署;
(2)重新建立独立的HBASE集群部署Kylin集群。
基于CDH5.7已有的HBASE部署Kylin集群的方式很简单,只需要增加Kylin的节点数,因为Kylin的元数据(Metadata)是存储在HBase中,只需要在Kylin中配置,让Kylin的每个节点都能访问同一个Metadata表就形成了Kylin集群(kylin.metadata.url 值相同)。并且Kylin集群中只有一个Kylin实例运行任务引擎(kylin.server.mode=all),其它Kylin实例都是查询引擎(kylin.server.mode=query)模式。
比如,我已经在10.10.1.200机子上按照上数流程部署了Kylin,同时在10.10.1.201, 10.10.1.202, 10.10.1.203也按照上述配置Kylin。接下里修改Kylin.properties文件

kylin.server.mode=all[主节点为all,从节点值为query]
kylin.server.cluster-servers=10.10.1.200:7070,10.10.1.201:7070,10.10.1.202:707010.10.1.203:7070

在每台机子上都启动Kylin既可以使用Kylin集群了。

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/gao123456789amy/article/details/52354461
个人分类: 学习笔记
下一篇Kylin的概述
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭