菜鸟裹裹万能查：小包裹数据的大革新

作者：哈九，菜鸟裹裹数据研发

无刃，菜鸟裹裹数据研发

夏招，菜鸟裹裹数据产品

菜鸟寄件业务当前为菜鸟的基础设施建设业务，是用户与【菜鸟】品牌最直接最基本的认知联系。通过与三通一达等巨头快递公司合作，降本增效，数字化、智能化的推动了中国快递行业腾飞。在新的一年里，菜鸟裹裹更是【做物流行业数字化转型的引擎】这一菜鸟大愿景的践行者。目前裹裹寄件日常寄件订单量百万级别，且双十一等大促期间订单量更是成倍增长。
智能化履约过程及不断精益化的业务系统，菜鸟裹裹团队急需一套一体化的数据产品，能够智能化、专业化、高效化的解决日常遇到的数据问题与需求，并在日常的数据监控与效果分析的过程中，用数据影响业务决策。基于业务越来越频繁的数据需求及数据应用，我们使用Hologres构建万能查产品，一劳永逸的解决业务汹涌的需求与各种口径、降本增效等问题。

通过本文我们将会介绍菜鸟裹裹基于Hologres构建万能查产品的最佳实践。

一、菜鸟裹裹数据旧时代的迷雾

1.冗余建设，数据口径等差异导致的数据不准

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pAd8xVOn-1665213061432)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/4224d13d89184efcbe7ca147408a6991~tplv-k3u1fbpfcp-zoom-1.image “菜鸟1.png”)]

菜鸟裹裹寄件业务发展至今，已经历过多轮的业务方向调整以及组织架构的变动，必然会存在极重的数据历史包袱。各类数据指标根据业务类型、运营模式的不同分散于不同的看板模块，效果分析关联度低；或同时多数据看板重复建设，类型过度细分，找数难，直接影响业务分析效率及体验感。此外，业务和BI所面对的分析场景、汇报对象、实际目标的不同，对于同一个指标可能存在多版本多角度的统计口径，易出现数据口径等细微差异导致的数据不准的情况，导致了数据同学日益繁重的“找茬”工作。若再不协同各方梳理指标口径，确定口径定义模式，统一底层数据，删减冗余看板，最后压死数据同学的将是任意一个不知名的“包裹”。

2.数据开发周期长，阻碍发展进度

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EKMBR8ZP-1665213061433)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/6d90147a346d46738021126cc5656b09~tplv-k3u1fbpfcp-zoom-1.image “菜鸟2.png”)]
早期的数据产出常常以需求为导向，以快速满足业务分析为目的。因此之前协作模式，主要为业务提出取数需求，分析现有数据看板是否支持，若无法支撑则重新搭建，并未将数据产品化。快速发展的业务必然会衍生出新的分析维度，目前固化的数据看板无法快速应对，同时也没有业务可自助查询数据的统一入口，数据分析进度与数据开发周期强绑定，从而导致业务常常不得不停下来等数据，对业务进度上造成了一定的阻碍。

3.查询速度慢，业务体验差

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GPt88EY5-1665213061434)(https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/edf22d3d7a274ac79774f627e5d89b9a~tplv-k3u1fbpfcp-zoom-1.image “菜鸟3.png”)]
离线数据分析和业务看板目前存在两种常规设计方案，如下图所示：

1. 用FBI等工具直接访问MaxCompute（原ODPS）离线表，但是由于ODPS开发资源短缺和MR的处理架构导致数据访问速度相对较慢，用户等待任务执行时间往往超于数据分析本身；
2. 形成一个adm层的聚合指标结果宽表，通过外表或DataX工具将聚合结果写入OL