美团外卖实时数仓建设实践

• 01 实时场景

• 02 实时技术及架构

  • 1. 实时计算技术选型

  • 2. 实时架构

• 03 业务痛点

• 04 数据特点与应用场景

• 05 实时数仓架构设计

  • 1. 实时架构：流批结合的探索

  • 2. 实时数仓架构设计

• 06 实时平台化建设

  • 1. 实时基础层功能

  • 2. 实时特征生产功能

  • 3. SLA建设

  • 4. 实时OLAP方案

• 07 实时应用案例

01 实时场景

实时数据在美团外卖的场景是非常多的，主要有以下几个方面：

• 运营层面：比如实时业务变化，实时营销效果，当日营业情况以及当日分时业务趋势分析等。

• 生产层面：比如实时系统是否可靠，系统是否稳定，实时监控系统的健康状况等。

• C端用户：比如搜索推荐排序，需要实时行为、特点等特征变量的生产，给用户推荐更加合理的内容。

• 风控侧：实时风险识别、反欺诈、异常交易等，都是大量应用实时数据的场景。

02 实时技术及架构

1. 实时计算技术选型

目前，市面上已经开源的实时技术还是很多的，比较通用的有Storm、Spark Streaming以及Flink，技术同学在做选型时要根据公司的具体业务来进行部署。

美团外卖依托于美团整体的基础数据体系建设，从技术成熟度来讲，公司前几年主要用的是Storm。当时的Storm，在性能稳定性、可靠性以及扩展性上也是无可替代的。但随着Flink越来越成熟，从技术性能上以及框架设计优势上已经超越了Storm，从趋势来讲就像Spark替代MR一样，Storm也会慢慢被Flink替代。当然，从Storm迁移到Flink会有一个过程，我们目前有一些老的任务仍然运行在Storm上，也在不断推进任务迁移。

具体Storm和Flink的对比可以参考上图表格。

2. 实时架构

① Lambda架构

Lambda是比较经典的一款架构，以前实时的场景不是很多，以离线为主，当附加了实时场景后，由于离线和实时的时效性不同，导致技术生态是不一样的。而Lambda架构相当于附加了一条实时生产链路，在应用层面进行一个整合