Kylin需要在一个Hadoop环境才能运行,本文默认您在安装Kylin前已经安装了hdfs,hive,hbase。
下载安装包
Kylin官网下载地址:http://kylin.apache.org/download/
根据自己的CDH版本下载相应的压缩包
解压&配置环境变量
我把apache-kylin-2.1.0-bin-cdh57.tar.gz放在/opt目录下
解压:
tar -xvf apache-kylin-2.1.0-bin-cdh57.tar.gz
配置环境变量
vi /etc/profile
增加
export KYLIN_HOME=/opt/apache-kylin-2.1.0-bin-cdh57
保存后
source /etc/profile
使其生效
配置Kylin.properties
修改kylin.server.cluster-servers为自己的服务器IP
kylin.server.cluster-servers=10.10.1.200:7070
增加(修改成自己的jar包所在的目录)
kylin.job.jar=/opt/apache-kylin-2.1.0-bin-cdh57/lib/kylin-job-2.1.0.jar
kylin.coprocessor.local.jar=/opt/apache-kylin-2.1.0-bin-cdh57/lib/kylin-coprocessor-2.1.0.jar
kylin.job.yarn.app.rest.check.status.url=http://10.10.1.7:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
执行./check-env.sh
这个命令会在hdfs上先创建/kylin目录,执行时会有权限问题,要在切换到hdfs用户目录下执行,否则会出现
mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x
failed to create /kylin, Please make sure the user has right to access /kylin
启动Kylin
./bin/kylin start
最后输出如下,表示启动成功:
A new Kylin instance is started by hdfs. To stop it, run 'kylin.sh stop'
Check the log at /opt/apache-kylin-2.1.0-bin-cdh57/logs/kylin.log
Web UI is at http://<hostname>:7070/kylin
登录Kylin
User: ADMIN
Pass: KYLIN
大功完成,安装过程起始很简单,主要就是要注意下权限的问题。
Kylin集群模式
上述为Kylin安装的单例模式,接下来是简单的集群模式。
绝大多数采用的Kylin的集群部署方式有两种:
(1)基于CDH的HBASE部署;
(2)重新建立独立的HBASE集群部署Kylin集群。
基于CDH5.7已有的HBASE部署Kylin集群的方式很简单,只需要增加Kylin的节点数,因为Kylin的元数据(Metadata)是存储在HBase中,只需要在Kylin中配置,让Kylin的每个节点都能访问同一个Metadata表就形成了Kylin集群(kylin.metadata.url 值相同)。并且Kylin集群中只有一个Kylin实例运行任务引擎(kylin.server.mode=all),其它Kylin实例都是查询引擎(kylin.server.mode=query)模式。
比如,我已经在10.10.1.200机子上按照上数流程部署了Kylin,同时在10.10.1.201, 10.10.1.202, 10.10.1.203也按照上述配置Kylin。接下里修改Kylin.properties文件
kylin.server.mode=all[主节点为all,从节点值为query]
kylin.server.cluster-servers=10.10.1.200:7070,10.10.1.201:7070,10.10.1.202:7070,10.10.1.203:7070
在每台机子上都启动Kylin既可以使用Kylin集群了。