Doris——纵腾集团流批一体数仓架构

目录

前言

一、早期架构

二、架构选型

三、新数据架构  

3.1 数据中台

3.2 数仓建模

3.3 数据导入

四、实践经验

4.1 准备阶段

4.2 验证阶段

4.3 压测阶段

4.4 上线阶段

4.5 宣导阶段

4.6 运行阶段

4.6.1 Tablet规范问题

4.6.2 集群读写优化

五、总结收益

六、未来规划

---

  原文大佬的这篇Doris数仓建设案例有借鉴意义，这里摘抄下来用作学习和知识沉淀。如有侵权请告知~

前言

  纵腾集团以“全球跨境电商基础设施服务商”为企业定位，聚焦跨境仓储与物流。随着纵腾集团业务的快速发展，早期基于多套 CDH 大数据架构的技术栈和组件繁杂，开发和运维难度高、效率低，数据质量和时效难以保障，已无法满足当下数据分析需求，严重影响相关工作的开展。因此，纵腾集团在 2022年正式引入Doris，基于Doris 构建了新的流批一体数据架构，同时建立了以 Doris 为核心的数据中台。构建过程中对读写时效性、服务的稳定性及高并发读写等多方面进行了优化。

一、早期架构

    早期数仓架构主要分为两套基于 CDH 的大数据集群，这两套架构用于不同产品线的数仓需求、数据大屏和BI报表等应用。