全网第一份 Kylin 4.0 性能调优指南!

Kylin 4.0 相较之前的版本是一个重大的架构升级版本,全新的构建引擎和查询引擎极大地提升构建性能和查询性能,解决了查询单点问等痛点;去除了 HBase 依赖,很大程度地解决了 Kylin 的难运维问题,也使得 Kylin 的计算和存储分离变为可能,更加符合云原生的技术趋势。

随着 Kylin 4.0-alpha 版本的发布,全新的构建和查询引擎也使 Kylin 4.0 中的调优方式相比 Kylin 之前的版本发生了重大的变化,这使得 Kylin 老用户积累的大部分调优经验不再适用于 Kylin 4.0 。

为了使用户能够快速了解 Kylin 4.0 中的调优方式和最佳实践,避免在使用 Kylin 4.0 过程中由于其调优方式与 Kylin 之前版本的巨大差异而遇到性能瓶颈,Kyligence 的大数据架构师张智超发布了 Kylin 4.0 的最新性能调优指南。(点击“阅读原文”,直达 Kylin 4 最新性能调优指南

除此之外,我们更特意推出了本期 B 站视频,来讲解在 Kylin 4.0 中如何优化 Cube 构建和查询性能。本次视频主要分为 Cube 构建性能优化查询性能优化两个部分。

# 上篇「Cube 构建性能优化」

关于 Cube 构建性能优化,除了可以通过原有的设置层级维度、必需维度等方式对 Cube 进行剪枝来提升构建速度以外,还可以通过设置合理的 Spark 资源配置来优化构建,比如利用 Kylin 4.0 中的新特性自动调参,或者调整全局字典以及维度表快照的相关配置来提升性能。

# 下篇「查询性能优化」

而查询性能优化,则主要是通过在 Cube 中指定 shardBy 列、设置 sortBy 列顺序、减少小文件、对查询引擎 SparderContext 的配置进行调整等方式来实现的。

除了以上针对 Kylin 4.0 调优的讲解视频,大家还可以在 Kylin Wiki 中了解 Kylin 4.0 的最新进展。随着 Kylin 4.0 不断迭代更新,Kylin 4.0 的性能调优方式也会不断发生变化和更新,欢迎大家持续关注我们的最新性能调优指南」(点击“阅读原文”即可直达):

Kylin 4.0 性能调优指南目录如下图:


推荐阅读

Kylin 在贝壳找房的实践及 HBase 优化

网易云音乐基于 Flink + Kafka 的实时数仓建设实践

分布式存储引擎 Alluxio 入门指南

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值