1.Apache Kylin简介
Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
这款软件目前广泛用于ebay、思科、雅虎、三星、百度、京东、网易、腾讯等大厂。
其核心能力在于通过预先计算维表、事实表的各种组合结果并存储于HBase,使得数据仓库的多维查询SQL执行时间从几分钟甚至几小时缩短到几秒甚至几十毫秒,用空间换取时间。
2.安装
前提条件:已安装CDH集群。
选择其中一台DataNode,执行以下命令(以Kylin 2.6.3 For CDH 6.0 版本为例)。
# 下载、解压到任意目录 wget https: //archive.apache.org/dist/kylin/apache-kylin-2.6.3/apache-kylin-2.6.3-bin-cdh60.tar.gz tar -zxvf apache-kylin- 2.6 . 3 -bin-cdh60.tar.gz # 切换root su # 预备将kylin目录设定为/opt/kylin,因此确保常用用户可访问 chown yourUser /opt # 切回普通用户 exit # 建立软连接(假设解压到用户home目录) ln -s /home/yourUser/apache-kylin- 2.6 . 3 -bin-cdh60 /opt/kylin # 切root并修改环境变量 su vi /etc/profile.d/myenv.sh export KYLIN_HOME=/opt/kylin export CDH_HOME=/opt/cloudera/parcels/CDH export SPARK_HOME=${CDH_HOME}/lib/spark export HBASE_HOME=${CDH_HOME}/lib/hbase export HIVE_HOME=${CDH_HOME}/lib/hive export HADOOP_HOME=${CDH_HOME}/lib/hadoop export PATH=$JAVA_HOME/bin:$KYLIN_HOME/bin:
|