Apache Kylin踩坑记

1.Apache Kylin简介

Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。

这款软件目前广泛用于ebay、思科、雅虎、三星、百度、京东、网易、腾讯等大厂。

其核心能力在于通过预先计算维表、事实表的各种组合结果并存储于HBase，使得数据仓库的多维查询SQL执行时间从几分钟甚至几小时缩短到几秒甚至几十毫秒，用空间换取时间。

2.安装

前提条件：已安装CDH集群。

选择其中一台DataNode，执行以下命令（以Kylin 2.6.3 For CDH 6.0 版本为例）。

# 下载、解压到任意目录 wget https://archive.apache.org/dist/kylin/apache-kylin-2.6.3/apache-kylin-2.6.3-bin-cdh60.tar.gz tar -zxvf apache-kylin-2.6.3-bin-cdh60.tar.gz # 切换root su # 预备将kylin目录设定为/opt/kylin，因此确保常用用户可访问 chown yourUser /opt # 切回普通用户 exit # 建立软连接（假设解压到用户home目录） ln -s /home/yourUser/apache-kylin-2.6.3-bin-cdh60 /opt/kylin # 切root并修改环境变量 su vi /etc/profile.d/myenv.sh   export KYLIN_HOME=/opt/kylin   export CDH_HOME=/opt/cloudera/parcels/CDH   export SPARK_HOME=${CDH_HOME}/lib/spark   export HBASE_HOME=${CDH_HOME}/lib/hbase   export HIVE_HOME=${CDH_HOME}/lib/hive   export HADOOP_HOME=${CDH_HOME}/lib/hadoop   export PATH=$JAVA_HOME/bin:$KYLIN_HOME/bin: