当前,网购已经成为千家万户主要的购物方式,随着快递体量的飞速膨胀,分析时效成了摆在快递公司面前的重要课题,有没有办法既能降低成本又能提升时效呢?
整个快递的生命周期可以用“收发到派签”五个字概括。“收”是指用户下单,快递小哥来收件,网点建包;“发”是指快递在转运过程中发往运转中心,发往目的地;“到”是指末端中心到件,分拣到网点;“派”是指派件网点分拣,快递小哥开始派件;“签”是指快递小哥派件以后,客户签收。
中通快递有一套完善的自研的大数据平台(见图一), ETL(Extract Transformation Load,抽取、转换、装载)数据建模支持到半小时的级别。中通快递大数据平台支持多种数据源的接入,如关系数据库 MySQL 、Oracle,文档数据库 MongoDB 以及 Elasticsearch(ES)。基本上,所有实时任务都是通过大数据平台来管理的,支持 Kafka、消息队列(MQ)等的接入。不论是离线 ETL 还是 Spark/Flink 的实时任务,都通过大数据平台接入整个大数据的计算集群,最终进行计算。计算分析的结果再通过大数据平台提供给使用方:一是将数据推送到数据应用端,用于分析和报表;二是提供给 OLAP 的查询引擎,供用户或其他系统查询。
图一:中通快递自研大数据平台
1.0 时代:满足业务和技术需求
业务与技术需求分析
大数据平台首先要满足业务的需求。中通快递的业务具有如下特点:
1)体量很大:业务发展很快,数据量很大,而且每笔订单会有 5~6 次更新,甚至更多次更新。
2)分析周期长:业务方要求的数据分析所覆盖的周期越来越长。
3)时效要求高:对分析时效的要求也越来越高,已经不满足于 T+1 离线计算,或者半小时级别的分析。
4)多维度:技术方案支撑多维的灵活分析。
5)可用性要求高:要突破单机性能瓶颈、单点故障,缩短甚至消除故障恢复时间。
6)并发高&#x