饿了么大数据平台建设

随着接入的需求方越来越多样化，对大数据的数据使用、数据存储与计算的需求也越来越多样化，同时业务飞速发展，集群的规模也急速扩大。如何在这样的场景下通过大数据平台，稳定支撑住业务的发展是一个不小的挑战。本文分享主要平台工具链，技术、选型及架构设计上的一点经验。

大数据平台现状

饿了么的大数据平台团队成立于2015年5月份左右，在16年4月份，Hadoop 集群规模还只在100+节点数，而在一年时间里集群规模快速增长到1000+的水平，这还是在引入数据生命周期进行管控的情况下的规模增速；同样，流计算集群的规模虽然相对较小，但也经历了10倍的增长，一些 topic 的吞吐量已超过百万每秒。

当前平台部分的逻辑架构如图1，并持续演进。

图1 饿了么大数据平台的逻辑架构图

当初面临的问题

饿了么已经成立9年时间，相对而言数据平台团队非常年轻，在加入团队之初面临了如下挑战：

• 人少活多 积累不足
• 内在质量 “差不多就行”
• 故障处理 “千人千面”

因此，主要以效率、质量和持续扩展为核心来建设数据平台。

技术选型

如图2所示，大数据的技术栈非常多样化，对于团队很多初入大数据领域的成员来说很容易在尝新过程中消耗团队的生产力，因此在加入团队初期，首先就要确定在当时条件下的技术选型。