从0到1搭建数据中台(1):初识

一、数据中台的发展历程

数据仓库,数据湖,大数据平台,数据中台的发展历程梳理;

数据中台的搭建方法论;

数据中台搭建的初步落地;

可以参考大神郭忆的课程,看完就会对全貌有个理解。

二、网易数帆的数据产品

 Easydata大数据生产力平台架构图。

有很完善的业务逻辑体系,功能比较丰富、全面。

参考:网易数帆

三、数据交换平台

 在响应一些标书的时候会要去区分数据中台,数据交换平台。

数据交换平台个人的理解还是偏向于传统的数据总线,所有的服务都发布到数据总线上来,各个业务部门可以很灵活的配置调用服务。其实相对于数据中台来讲意义更窄。

这里如果是数据中台来实现,数据中台实际上有数据服务的一个业务模块,在这个基础上统一通过API来对外提供,比之前的基于webService的更有通用性。

另外就是有些论坛上的把数据交换平台和数据平台的混为一个,没有做太严格的区分。

参考:

数据交换平台开源框架

数据交换平台exchangis

四、袋鼠云数据中台

在从0到1搭建一个数据中台的时候,需要考虑开源的解决方案,在这个基础上再去迭代开发。先入了这个行当,再去深入理解,理清来龙去脉,与自己的应用相结合。

五、一些概念解释

在初步了解一些数据中台的搭建时候,有很多概念看了不是很清楚,这里罗列一下:

  • 数据库和schema有什么区别?

这个要看实际的数据库是什么,不同的数据库对这个定义还不太一样,mysql,oracle,sql server 对这个的解释都不太一样,在mysql中是一个意思,在oracle中是跟着user走的。

  • 什么是数据仓库的主数据?

主数据也称基准数据,通常指系统间共享数据(例如,客户、供应商、账户和组织部门相关数据),与业务数据相比,主数据变化缓慢。

主数据是被广泛应用的数据,比如人员,部门,这些基础数据。

元数据是企业数据管理的基石,主数据是企业经营运作的主体对象,一般都是从元数据或主数据切入,再逐步展开数据治理的其他方面。

  • 什么是主数据派发?

支持将主数据派发到业务子系统、接口、表、rabbitmq消息队列等。

  • 什么是即席查询? 

即席查询(‌Ad Hoc Queries)‌是一种用户根据自己的需求,‌灵活选择查询条件,‌系统能根据用户的选择生成对应的统计报表的查询方式。‌这种查询方式与普通应用查询的最大不同在于其SQL是灵活的、‌不确定的、‌短暂的。‌即席查询通常发生在数据分析和运营中,‌当用户有特定的数据分析需求时,‌他们可能会提出一些不属于固化查询模式的新需求,‌这时就需要即席查询来快速响应并获取结果。‌即席查询的特点包括:‌

  1. 需求不固定:‌即席查询的需求通常不是预先定义的,‌而是在特定情况下由用户提出。‌
  2. 灵活性:‌即席查询的SQL可以根据用户的需求灵活调整,‌没有固定的模式。‌
  3. 短暂性:‌即席查询通常是为了满足一次性的分析需求,‌查询结果出来后,‌查询本身可能就不再需要。‌
  4. 快速响应:‌由于即席查询的目的是快速满足用户的分析需求,‌因此需要快速生成查询并获取结果。‌

在数据中台的环境中,‌即席查询尤为重要,‌因为它能够快速响应各种临时或特殊的数据分析需求,‌帮助用户快速获取所需信息,‌支持决策过程。‌尽管即席查询可能不如固化查询那样高效,‌但在需要快速响应和灵活调整的情况下,‌它是非常有用的工

参考:

数据中台的开源解决方案

数据中台的开源技术栈

alldata

datacap

  • 6
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值