数据仓库的建设是“数据智能建设”、“数字化”转型的一个必要且基础的环节;从智能商业的角度来讲,数据的结果代表了用户的反馈,获取结果的及时性就显得尤为重要,快速的获取数据反馈能够帮助公司更快的做出决策,更好的进行产品迭代,实时数仓在这一过程中起到了不可替代的作用。
随着数据时效性在企业运营中的重要性日益凸现,例如,实时推荐、精准营销、实时风控、实时监控大屏、实时BI报表等,数据的实时处理能力成为企业提升竞争力的一大因素。
02数仓架构的演变想要了解实时数仓的架构,就不得不从整个数据仓库的架构演变来进行展开;数据仓库概念是Inmon于1990年提出并给出了完整的建设方法。随着互联网时代来临,数据量暴增,开始使用大数据工具来替代经典数仓中的传统工具。此时仅仅以Hadoop技术体系替代了传统数据仓库工具,架构上并没有根本的区别,可以把这个架构叫做 离线大数据架构。
后来随着业务实时性要求的不断提高,人们开始在离线大数据架构基础上加了一个加速层,使用流处理技术直接完成那些实时性要求较高的指标计算,这便是Lambda架构。
再后来,实时的业务越来越多,事件化的数据源也越来越多,实时处理从次要部分变成了主要部分,架构也做了相应调整,出现了以实时事件处理为核心的Kappa架构。
离线大数据架构数据通过离线批量的方式同步进入到数据仓库中,通过构建数仓分层实现数据的ETL链路,最后通过多样式数据服务完成数据需求的满足,例如推送至业务端MYSQL、Hbase,或者是构建独立的数据集市DM等。
离线大数据架构示意图
Lambda架构随着实时性需求的提出,为了计算一些实时指标&#