概述
Apache Kylin™是一个开源的、分布式的分析型数据仓库,提供 Hadoop 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc.开发并贡献至开源社区。
只需要三步,即可实现超大数据集上亚秒级的查询
1、定义数据集上的一个雪花模型或星型模型
2、定义的模型上构建一个cube
3、使用SQL通过ODBC、JDBC 或 RESTFUL API 进行查询,仅需亚秒级响应时间即可获得查询结果
查询出的海量数据存储到Hbase
安装
这里涉及的环境太多了,为了方便用户测试,提供了docker镜像。镜像中包含测试表和数据以及
- JDK 1.8
- Hadoop 2.7.0
- Hive 1.2.1
- Hbase 1.1.2 (with Zookeeper)
- Spark 2.3.1
- Kafka 1.1.1
- MySQL 5.1.73
安装docker
安装工具
sudo yum install -y yum-utils
设置yum仓库地址
sudo yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
sudo yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
更新yum缓存
sudo yum makecache fast
安装docker
sudo yum install -y docker-ce docker-ce-cli containerd.io
检查安装状态
docker info
启动docker
systemctl start docker
查看docker状态
systemctl start docker
设置docker开机自启
systemctl enable docker
设置docker镜