闲鱼商品选投实时性优化

马赫是闲鱼的选品和投放系统，闲鱼业务中多数商品都是孤品即单库存商品，所以商品的实时变更需要即刻反馈到选品和投放链路中，为了满足业务诉求马赫设计之初就把实时性作为最重要的技术目标，随着系统的运行数据的膨胀实时性也遇到了瓶颈，本文将介绍近一年来在提升马赫实时性上的相关工作，目标是选品实时性延迟控制在秒级别。如果有对马赫不了解的同学可以回顾公众号内马赫相关文章。

选投实时链路

马赫整个选品和投放的过程中数据流转如下图所示主要分为三个部分，第一部分是选品数据接入，数据是马赫选品的根本，数据的实时是整个马赫流程能有效运转的基础。第二部分是选品规则计算，规则计算是马赫的核心，计算的实时性保证了马赫能把选品结果同步到各个下游节点。第三部分是商品投放，商品投放是与用户距离最近的部分，实时的反馈能给用户带来更好的体验。

马赫实时性性能优化也是从这三部分入手，下面将针优化过程进行详细介绍。

选品数据实时性能优化

    马赫选品依赖的选品宽表数据，主要由两类数据构成，一类是商品基础数据，商品基础数据指用户发布的商品信息包括：商品类型、商品状态、商品价格、商品描述、商品图片；该类数据通过订阅商品数据库的变更已经实现了实时性。另外一类是基于商品衍生出的统计和预测数据，这类的数据一般都是通过ODPS（阿里内部离线计算平台）离线计算，产出时间与商品基础相比大多是天级别或小时级别延迟，该类数据原有的接入方案如下，无论是小时级别延迟还是天级别延迟产出的数据，都是进行统一的处理，每天把所有的数据JOIN到一起后输出到一个离线数据表中，然后把该数据通过BLINK 和 MetaQ消息通道与马赫的数据统一接入层对接。该方案的优点是所有的离线产出数据只需要处理一次方便运维，同时每天一次回流整个过程的数据量可控。缺点也是显而易见，首先每天汇总数据产出时间取决于上游耗时最长的数据，如果有数据延迟将会影响整个流程的耗时࿰