一、软件要求
- Hadoop: 2.7+
- Hive: 0.13 - 1.2.1+
- HBase: 1.1+
- Spark (可选) 2.1.1+
- Kafka (可选) 0.10.0+
- JDK: 1.7+
- OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+
二、硬件要求
运行 Kylin 的服务器的最低的配置为 4 core CPU, 16 GB memory 和 100 GB disk。
对于高负载的场景建议使用 24 core CPU, 64 GB memory 或更高的配置。
三、Hadoop环境
Kylin 依赖于 Hadoop 集群处理大量的数据集。您需要准备一个配置好 HDFS, YARN, MapReduce, Hive, Hbase, Zookeeper 和其他服务的 Hadoop 集群供 Kylin 运行。最常见的是在 Hadoop client machine 上安装 Kylin,这样 Kylin 可以通过(hive, hbase, hadoop, 以及其他的)命令行与 Hadoop 进行通信。
Kylin 可以在 Hadoop 集群的任意节点上启动。方便起见,您可以在 master 节点上运行 Kylin。但为了更好的稳定性,我们建议您将其部署在一个干净的 Hadoop client 节点上,该节点上 hive, hbase, hadoop, hdfs 命令行已安装好且 client 配置如(core-site.xml, hive-site.xml, hbase-site.xml, 及其他)也已经合理的配置且其可以自动和其它节点同步。运行 Kylin 的 Linux 账户要有访问 Hadoop 集群的权限,包括 create/write HDFS 文件夹, hive 表, hbase 表 和 提交 MR jobs 的权限。
四、下载解压
下载地址:https://archive.apache.org/dist/kylin/apache-kylin-2.3.1/
下载完后解压到/opt目录下
然后创建软链接,试命名使用方便,命令如下
ln -s apache-kylin-2.3.1-bin kylin
五、配置环境变量
编辑/etc/profile文件,添加如下内容:
#added by kylin
export KYLIN_HOME=/opt/kylin
export PATH=$PATH:$KYLIN_HOME/bin
六、配置
编辑${KYLIN_HOME}/conf/kylin.properties文件,修改如下:
kylin.server.cluster-servers=10.92.208.220:7070,10.92.208.216:7070
## Kylin server mode, valid value [all, query, job] ####只能有一个节点配置为all或job,其他的只能配置为query
kylin.server.mode=all
七、检查环境
[root@cdh1 kylin]# bin/check-env.sh
Retrieving hadoop conf dir...
KYLIN_HOME is set to /opt/kylin
[root@cdh1 kylin]# bin/find-hive-dependency.sh
Retrieving hive dependency...
[root@cdh1 kylin]# bin/find-hbase-dependency.sh
Retrieving hbase dependency...
[root@cdh1 kylin]#
八、启动/停止Kylin
[root@cdh1 kylin]#bin/kylin.sh start
[root@cdh1 kylin]#bin/kylin.sh stop
九、Kylin Web界面
http://cdh1:7070/kylin
账号/密码:ADMIN/KYLIN