kylin 搭建和简单测试结果

 

0 概念：

 

 这里的kylin是 OLAP的范畴，是ebay上海研发团队研发的一个多维存储的产品，目的是为了

  解决hbase紧依靠rowkey来快速查询的局限， 其核心是 空间换时间， 不是国产linux的kylin操作系统

 

1 说明：

 

1 使用apache原生，这里搭建成功的版本为: (kylin官网建议使用 hotonworks sandbox 而且看kylin/bin的文件也都有sandbox的痕迹 这里我使用apache 原生版本)
apache-kylin-0.7.1
apache-hive-0.14.0
hadoop-2.2.0
hbase-0.98.12
zookeeper-3.4.5


2其中一些说明如下，
0 jdk1.7版， 使用物理机器为 172.17.199.11  172.17.199.12  172.17.199.13 
1 必须是 hadoop-2.2.0版本， 必须是hive0.14以上版本(kylin maillist建议是这样)
2 hive解压后的命名必须为hive ----> 可以看kylin/bin/find-hive-dependency.sh 22行代码， 
3 建议机器为8G内存，如果是用虚拟机搭建单机环境，那么虚拟机建议给到5G+内存，否则可能kylin启动有问题，比如页面无法访问，或者bulid sample时候死机
4 建议kylin.sh中 手动导出 kylin_home 可以查看我上次的附件 kylin.sh第二行

然后，必须启动的服务有：
1 hadoop2的hdfs yarn 以及 jobhistory
2 hive --service metastore &
3 zookeeper
4 hbase
5 kylin 
6 如上几项必须设置在集群每台机器的环境变量中

 

 

2 集群生态分布如下：

 

集群搭建在 172.17.199.11,  172.17.199.12,  172.17.199.13上，三台机器内存都是64G

集群生态分布如下：

 

hadoop2.2.0

 

机器	角色	启动的服务
172.17.199.11	主节点	Namenode SecondaryNameNode JobHistoryServer ResouceManager
172.17.199.12	从节点	DataNode NodeManager
172.17.199.13	从节点	DataNode NodeManager

 

 

Zookeeper-3.4.5

 

机器	启动的服务
172.17.199.11	QuorumPeerMain
172.17.199.12	QuorumPeerMain
172.17.199.13	QuorumPeerMain

 

 

Hbase-0.98.12

 

机器	启动的服务
172.17.199.11	HMaster
172.17.199.12	HRegionServer
172.17.199.13	HRegionServer

 

 

Hive-0.14.0

机器	启动的服务
172.17.199.11	hive客户端 hive metastore

 

 

Kylin-0.7.1

 

<

机器