中通快递：HTAP 在快递行业助力时效分析的落地实践

当前，网购已经成为千家万户主要的购物方式，随着快递体量的飞速膨胀，分析时效成了摆在快递公司面前的重要课题，有没有办法既能降低成本又能提升时效呢？

整个快递的生命周期可以用“收发到派签”五个字概括。“收”是指用户下单，快递小哥来收件，网点建包；“发”是指快递在转运过程中发往运转中心，发往目的地；“到”是指末端中心到件，分拣到网点；“派”是指派件网点分拣，快递小哥开始派件；“签”是指快递小哥派件以后，客户签收。

中通快递有一套完善的自研的大数据平台（见图一）， ETL（Extract Transformation Load，抽取、转换、装载）数据建模支持到半小时的级别。中通快递大数据平台支持多种数据源的接入，如关系数据库 MySQL 、Oracle，文档数据库 MongoDB 以及 Elasticsearch（ES）。基本上，所有实时任务都是通过大数据平台来管理的，支持 Kafka、消息队列（MQ）等的接入。不论是离线 ETL 还是 Spark/Flink 的实时任务，都通过大数据平台接入整个大数据的计算集群，最终进行计算。计算分析的结果再通过大数据平台提供给使用方：一是将数据推送到数据应用端，用于分析和报表；二是提供给 OLAP 的查询引擎，供用户或其他系统查询。

图一：中通快递自研大数据平台

1.0 时代：满足业务和技术需求

业务与技术需求分析

大数据平台首先要满足业务的需求。中通快递的业务具有如下特点：

1）体量很大：业务发展很快，数据量很大，而且每笔订单会有 5～6 次更新，甚至更多次更新。
2）分析周期长：业务方要求的数据分析所覆盖的周期越来越长。
3）时效要求高：对分析时效的要求也越来越高，已经不满足于 T+1 离线计算，或者半小时级别的分析。
4）多维度：技术方案支撑多维的灵活分析。
5）可用性要求高：要突破单机性能瓶颈、单点故障，缩短甚至消除故障恢复时间。
6）并发高&#x