数据中台
数据中台学习笔记,内容整理于网络,更新中。
数据中台是一站式解决平台,从数据集成、大数据计算、数据治理、数据工具、数据模型、数据应用、市场集成完整一套综合解决方案及产品系列。
简单来讲就是提取各个业务的数据,统一标准和口径,通过数据计算和加工为用户提供数据服务。
对于一家企业来说,想要构建一个数据中台,需包含:数据模型存储、数据资产管理、对外提供数据服务、数据更深层次的分析挖掘等各方面过程。这便是广泛意义上的数据中台,其核心就是构建一个共享数据服务体系。
1.数据中台和数仓的区别
2.数据中台的架构
数据中台和数仓的区别
数据中台从某个意义来说也属于数仓的一种,都是要把数据抽进来建立一个数据仓库。但是两者的数据来源和建立数仓的目标以及数据应用的方向都存在很大差异。
从数据来源来说,数据中台的数据来源期望是全域数据包括业务数据库,日志数据,埋点数据,爬虫数据,外部数据等。数据的来源可以是结构化数据或者非结构化的数据。而传统数仓的数据来源主要是业务数据库,数据格式也是以结构化数据为主。
数据中台的架构
从阿里数据中台发展历程,可以看到大概经历以下4个阶段:
数据库阶段,主要是OLTP(联机事务处理)的需求;
数据仓库阶段,OLAP(联机分析处理)成为主要需求;
数据平台阶段,主要解决BI和报表需求的技术问题;
数据中台阶段,通过系统来对接OLTP(事务处理)和OLAP(报表分析)的需求,强调数据业务化的能力;