StarRocks实战——多点大数据数仓构建

目录

前言

一、背景介绍

二、原有架构的痛点

2.1 技术成本

2.2 开发成本

2.2.1 离线 T+1 更新的分析场景

2.2.2 实时更新分析场景

2.2.3 固定维度分析场景

2.2.4 运维成本

三、选择StarRocks的原因

3.1 引擎收敛

3.2 “大宽表”模型替换

3.3 简化Lambda架构

3.4 模型持续迭代

3.5 明细、汇总一体化

3.6 外表能力

3.7 单表聚合查询

3.8 多表关联查询

3.9 实时更新读写查询

四、实践经验

4.1 集群拆分

4.2 按照数据更新频率进行拆分

4.3 按照业务域进行拆分

4.4 调优手段

4.4.1 优化表结构定义

1）模型选择

2）分区和分桶 

3）稀疏索引、bloomfilter、Bitmap Index

4）物化视图

5）使用BITMAP / HyperLogLog 数据类型进行去重

4.4.2 优化查询SQL

1）Broadcast Join

2）Colocation Join

3）并行度调整

4）CBO 优化器

4.5 工具集成

4.5.1  数据集成

4.5.2 监控预警

五、总结

---

   原文大佬介绍的这篇StarRocks数仓建设实践有借鉴意义的，这些摘抄下来用作沉淀学习。如有侵权，请告知~

前言

      多点 DMALL 成立于2015年，是一站式全渠道数字零售解决方案服务商。 多点大数据部门使用 StarRocks逐步替代了 Impala、Impala on Kudu、Apache Kylin等存储引擎，实现了存储引擎的收敛，简化了实时数据处理链路，同时也能保障较高的查询并发以及较低的响应延迟要求。

一、背景介绍

     多点大数据部门为内部业务研发团队、数据分析师、外部用户以及合作伙伴，提供了基础的大数据产品、平台服务，帮助零售企业解决了从基本的数据汇总管理、统一的数据计算应用、到各种场景下对数据的多模式使用的需求，可覆盖零售企业绝大部分数据诉求。