一、数据中台的发展历程
数据仓库,数据湖,大数据平台,数据中台的发展历程梳理;
数据中台的搭建方法论;
数据中台搭建的初步落地;
可以参考大神郭忆的课程,看完就会对全貌有个理解。
二、网易数帆的数据产品
Easydata大数据生产力平台架构图。
有很完善的业务逻辑体系,功能比较丰富、全面。
参考:网易数帆
三、数据交换平台
在响应一些标书的时候会要去区分数据中台,数据交换平台。
数据交换平台个人的理解还是偏向于传统的数据总线,所有的服务都发布到数据总线上来,各个业务部门可以很灵活的配置调用服务。其实相对于数据中台来讲意义更窄。
这里如果是数据中台来实现,数据中台实际上有数据服务的一个业务模块,在这个基础上统一通过API来对外提供,比之前的基于webService的更有通用性。
另外就是有些论坛上的把数据交换平台和数据平台的混为一个,没有做太严格的区分。
参考:
四、袋鼠云数据中台
在从0到1搭建一个数据中台的时候,需要考虑开源的解决方案,在这个基础上再去迭代开发。先入了这个行当,再去深入理解,理清来龙去脉,与自己的应用相结合。
五、一些概念解释
在初步了解一些数据中台的搭建时候,有很多概念看了不是很清楚,这里罗列一下:
- 数据库和schema有什么区别?
这个要看实际的数据库是什么,不同的数据库对这个定义还不太一样,mysql,oracle,sql server 对这个的解释都不太一样,在mysql中是一个意思,在oracle中是跟着user走的。
- 什么是数据仓库的主数据?
主数据也称基准数据,通常指系统间共享数据(例如,客户、供应商、账户和组织部门相关数据),与业务数据相比,主数据变化缓慢。
主数据是被广泛应用的数据,比如人员,部门,这些基础数据。
元数据是企业数据管理的基石,主数据是企业经营运作的主体对象,一般都是从元数据或主数据切入,再逐步展开数据治理的其他方面。
- 什么是主数据派发?
支持将主数据派发到业务子系统、接口、表、rabbitmq消息队列等。
- 什么是即席查询?
即席查询(Ad Hoc Queries)是一种用户根据自己的需求,灵活选择查询条件,系统能根据用户的选择生成对应的统计报表的查询方式。这种查询方式与普通应用查询的最大不同在于其SQL是灵活的、不确定的、短暂的。即席查询通常发生在数据分析和运营中,当用户有特定的数据分析需求时,他们可能会提出一些不属于固化查询模式的新需求,这时就需要即席查询来快速响应并获取结果。即席查询的特点包括:
- 需求不固定:即席查询的需求通常不是预先定义的,而是在特定情况下由用户提出。
- 灵活性:即席查询的SQL可以根据用户的需求灵活调整,没有固定的模式。
- 短暂性:即席查询通常是为了满足一次性的分析需求,查询结果出来后,查询本身可能就不再需要。
- 快速响应:由于即席查询的目的是快速满足用户的分析需求,因此需要快速生成查询并获取结果。
在数据中台的环境中,即席查询尤为重要,因为它能够快速响应各种临时或特殊的数据分析需求,帮助用户快速获取所需信息,支持决策过程。尽管即席查询可能不如固化查询那样高效,但在需要快速响应和灵活调整的情况下,它是非常有用的工
参考: