Flink——芒果TV的实时数仓建设实践

目录

一、芒果TV实时数仓建设历程

1.1 阶段一：Storm/Flink Java+Spark SQL

1.2 阶段二：Flink SQL+Spark SQL

1.3 阶段三：Flink SQL+StarRocks

二、自研Flink实时计算调度平台介绍

2.1 现有痛点

2.2 平台架构设计

三、Flink SQL实时数仓分层实践

四、Flink SQL实时数仓生产过程遇到的问题

4.1 多表关联

4.2 复杂的表处理

4.3 State过大

4.4  Checkpoint 不能顺利完成

五、StarRocks选型背景及问题

六、基于Flink SQL+StarRocks实时分析数仓

6.1 明细模型

6.2 主键模型

6.3 聚合模型

6.4 物化视图

七、未来展望

7.1 湖仓一体

7.2 低代码

---

  原文大佬的这篇实时数仓建设案例有借鉴意义，这里摘抄下来用作学习和知识沉淀。

一、芒果TV实时数仓建设历程

     芒果TV实时数仓的建设分为三个阶段，14-19 年为第一阶段，技术选型采用 Storm/Flink Java+Spark SQL。20-22 年上半年为第二阶段，技术选型采用 Flink SQL+Spark SQL 。22 年下半年-至今为第三阶段，技术选型采用 Flink SQL+ StarRocks。每一次升级都是在原有基础上进行迭代，以求更全面的功能，更快的速度，能更好的满足业务方的需求。

1.1 阶段一：Storm/Flink Java+Spark SQL

     芒果 TV 的实时数据处理很早就开始了，最开始用的是 Storm，到了 18 年