Apache Kylin社区非常高兴地宣布 v2.0.0 beta package 已经可以下载并测试了。
- 下载链接: http://kylin.apache.org/cn/download/
- 源代码: https://github.com/apache/kylin/tree/kylin-2.0.0-beta
自从v1.6.0版本发布已经2个多月了。这段时间里,整个社区协力开发完成了一系列重大的功能,希望能将Apache Kylin提升到一个新的高度。
- 支持雪花模型 (KYLIN-1875)
- 支持 TPC-H 查询 (KYLIN-2467)
- Spark 构建引擎 (KYLIN-2331)
- Job Engine 高可用性 (KYLIN-2006)
- Percentile 度量 (KYLIN-2396)
- 在 Cloud 上通过测试 (KYLIN-2351)
非常欢迎大家下载并测试 v2.0.0 beta。您的反馈对我们非常重要,请发邮件到 dev@kylin.apache.org。
安装
暂时 v2.0.0 beta 无法从 v1.6.0 直接升级,必需全新安装。这是由于新版本的元数据并不向前兼容。好在 Cube 数据是向前兼容的,因此只需要开发一个元数据转换工具,就能在不久的将来实现平滑升级。我们正在为此努力。
运行 TPC-H 基准测试
在 Apache Kylin 上运行 TPC-H 的具体步骤: https://github.com/Kyligence/kylin-tpch
Spark 构建引擎
Apache Kylin v2.0.0 引入了一个全新的基于 Apache Spark 的构建引擎。它可用于替换原有的 MapReduce 构建引擎。初步测试显示 Cube 的构建时间一般能缩短到原先的 50% 左右。
启用 Spark 构建引擎:
- 仔细检查
kylin.properties
中的 Spark Engine Configs 部分。- 确保指定的
HADOOP_CONF_DIR
目录中包含 core, yarn, hive, 和 hbase 的 site xml。 - 根据集群的具体配置调整 Spark executor instances, cores, 和 memory。
- 测试中 Hive on Tez 会遇到问题,切换到 Hive on MR 可以绕过。
- 确保指定的
- 在创建新 Cube 时,在“高级”配置中选用 Spark 构建引擎即可。
感谢每一位朋友的参与和贡献!