实时离线一体化助力渠道分析系统

背景

渠道分析系统，是一个多维度数据分析系统，旨在为渠道运营和渠道评估提供数据支持。随着精细化运营需求的日益增长，对渠道数据的时效性和准确性要求也越来越高。第一代渠道分析系统，数据主要依赖离线计算产生，最小时间粒度为小时，其中，“新增用户数”对运营人员及时调整策略起到至关重要的作用，但该数据的滞后性比较明显，导致相应的运营决策比较被动，决策效果较差。

本文实现了一种实时计算与离线计算一体化的解决方案，为渠道新增数据提供实时、准确、高效的数据支撑。本文将从面临挑战、解决方案、难点攻克等几个方面来详细描述整个方案实施过程。

面临挑战

渠道数据涉及多种产品线，因此数据打点分散，数据源较多，其中包括数据中心数据、商业化数据、反作弊数据等。为了建立通用的渠道评估机制，全面的评估渠道质量从而指导结算，由此面临的挑战总结如下：

1. 数据量大。渠道数据汇聚了多个产品的数据，每天数据量约为5~6TB，高峰期可达100MB/s。

2. 数据复杂度高。产品的多样性使得数据源种类繁多，且原始日志经过多重加密，增加了日志解析的复杂度。

3. 低延迟。渠道运营数据延迟越低，对运营决策的价值越高，而新增数据由于其依赖历史数据，其本身计算逻辑存在复杂性，增加了低延迟的处理难度。

4. 数据准确性要求高。保证渠道评估的准确性才能做到精准投放和公平结算，因此对渠道数据的准确性要求较高，需要有数据校准机制。

解决方案

总体设计

基于面临的挑战本文采用了实时计算分流、离线计算补充校准的方式来满足上述数据要求，以下是整体数据处理架构图。