统一数据管理下的敏捷分析

导读

近期，衡石成功举办了 HENGSHI SENSE 4.1 线上分享会，分享会上衡石科技 CEO 刘诚忠，衡石科技联合创始人&首席架构师赖林华围绕整个数据分析市场、行业和衡石的创新为主题进行分享。上期的推文我们分享了衡石科技 CEO 刘诚忠带来的《企服市场新物种：何为数据分析 PaaS》。

本期推文我们来看看衡石科技联合创始人 & 首席架构师赖林华带来的《统一数据管理下的敏捷数据分析》分享。

数据分析典型架构

众所周知，数据分析的起点是业务系统原始数据。这其中包括 APP 数据、CRM 数据、订单数据、仓储数据、调查问卷等。这些数据在数据分析流中是分层存在的，如 ODS、DWD、DWM、DWS。ODS 是最原始的，业务系统里用户的每一个点击，每一次下单，ODS层都需要忠实地进行数据同步。

明细数据会通过不同的 ETL 任务进到数据仓库，每一层数仓聚合粒度是不一样的。DWD 进行数据的清洗与聚合。DWM 会按照天或者每小时进行轻度汇总。DWS则是按照业务线、产品、部门进行进一步的汇总。这些数据最终会通过 ET