为日均服务十亿人次做准备，美团数据团队如何走在业务前想问题

大数据文摘出品

作者：朱玲

 

“你每一次花钱，都是在为自己想要的生活投票。”

 

2010年3月4日，美团网站上线当天，美团创始人兼CEO王兴发出了这样一条微博，希望以“吃”为核心，去打造一个帮大家吃得更好，生活更好的全方位生活服务平台。

 

当然，要协调日订单已经突破3000万单的外卖配送以及包括快驴、买菜、单车、酒旅在内的多个业务线，一个稳定、强大的数据基础架构必不可少。

 

王兴给美团定的下一个目标是每天服务十亿人次，这个并发量对美团数据团队来说，将是不小的挑战。但同时，为了应对异常复杂的业务场景，保证跟技术的极致融合，美团数据团队也发展出了自己独有的特点。

 

“指挥部”核心支撑，“小兵团”灵活作战

 

据美团数据平台负责人李闻介绍，从宏观方面来说，美团内部整个大数据团队主要涵盖两大技术方向：一个是数据研发方向，涵盖面向数据资产的数据清洗、加工、整合、挖掘、管理、运营等技术领域，主要包括批处理和实时数据仓库的建设、数据管理、数据价值落地以及数据运营；另一个是数据系统研发方向，涵盖批处理、实时数仓开发工具链、BI系统、数据管理系统等数据系统研发。

 

大数据团队作为一个整体，希望通过数据内容建设、数据系统建设，来提升美团整个公司数据质量、数据效率、数据安全，以数据驱动的方式帮助公司完成业务目标，持续提高公司的运营效率和核心竞争力。

 

美团数据平台&机器学习平台

 

但是，涉及到实际的业务时，美团跟不少单一业务线公司“数据团队中央化管理”又有所不同，他们采取了基础研发部以“指挥部”的形式核心支撑，各业务线通过自有的规模较小的嵌入式数据闭环形成“小兵团”，灵活高效的完成单线任务。

 

李闻说，美团是多业务线多BG的组织形式，每一个业务线都有自己的研发团队，即每个BG下面有自己的数据工程师（DE）和数据科学家（DS）。其中工程师团队主要负责中心化的公共数据建设，而数据科学家团队