数据中台
文章平均质量分 87
做一个有趣的人Zz
天下唯庸人无咎无誉
展开
-
数据中台05:数据中台之数据加工总线
一、目前大数据领域实时计算的现状随着大数据行业的整体发展,企业对实时计算的需求越来越多,特别是在构建实时数仓的时候,需要接入很多实时数据源,并且数仓还是分层的,针对每一层的数据都需要进行实时计算,此时就需要开发很多实时计算程序,实时计算程序的复用性很低,针对每一种类型的数据都需要开发对应的实时计算程序,开发成本高,并且对程序员也不友好,需要专门的大数据开发工程师,所以我们希望在实时计算领域能够提供类似HiveSQL的功能,直接写SQL就能实现实时计算任务,不需要每次都写一堆的代码,提高工作效率,尽可能让会原创 2022-03-22 00:08:59 · 1206 阅读 · 0 评论 -
数据中台04:数据中台企业级解决方案
前面我们对数据中台的理论进行分析,下面我们来看一下,数据中台在一些大型企业中的落地方案。一、阿里数据中台在国内,”中台”的概念是阿里带头喊出来的,所以我们先来看一下阿里的数据中台方案最底层是计算和存储平台往上面是垂直数据中心,负责全域数据采集与引入,以需求为驱动,以数据多样性的全域思想为指导,采集与引入全业务、多终端、多形态的数据。再往上面是公共数据中心,按照基础层、公共中间层、应用层的数据分层架构模式,通过数据指标结构化、规范化的方式实现指标口径统一。再往上面是萃取数据中心,形成以业务核心对原创 2022-03-22 00:08:02 · 1516 阅读 · 0 评论 -
数据中台03:什么样的企业适合建设数据中台
一、适合建数据中台的企业前面我们分析了什么是数据中台,数据中台的好处,以及数据中台的架构,是不是所有的企业都需要构建数据中台呢?不是的,下面就来看一下到底什么样的企业适合建设数据中台。看这个案例:某企业下面有多个科研实体,每个科研实体下面有多个研究中心类似于一个集团公司,下面有多个子公司,每个子公司里面还有多个产品线。这种类型的企业业务复杂,有丰富的数据维度和多个业务场景,比较适合建设数据中台。初创型企业没有必要搭建数据中台,首先要解决的是生存问题,甚至于连数据仓库都没必要搭建,需要等企业走原创 2022-03-22 00:07:45 · 1297 阅读 · 0 评论 -
数据中台02:数据中台架构
一、数据中台总体架构图前面我们通过理论层面对数据中台有了一定的了解,下面我们通过架构层面来详细看一下数据中台的设计。数据中台是位于底层存储计算平台与上层的数据应用之间的一整套体系。数据中台屏蔽掉底层存储平台的计算技术复杂性,降低对技术人才的需求,让数据的使用成本更低。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过数据体系对数据进行分层存储通过资产管理、数据服务,把数据资产变为数据服务能力,服务于企业业务。数据安全管理、数据运营体系,保障数据中台可以长期健康、持续运转。1、数据汇原创 2022-03-22 00:07:12 · 16789 阅读 · 0 评论 -
数据中台01:数据中台的发展:什么是中台、什么是数据中台
一、什么是中台中台是2019年开始火起来的一个概念,它最早是由阿里在2015年提出的“大中台,小前台”战略中延伸出来的概念,灵感来源于一家芬兰的小公司Supercell——一家仅有300名员工,却接连推出爆款游戏,是全球最会赚钱的明星游戏公司。2015年年中,马云带领阿里巴巴集团高管,拜访了位于芬兰赫尔辛基的这家移动游戏公司,这家看似很小的公司,设置了一个强大的技术平台,来支持众多的小团队进行游戏研发。这样一来,他们就可以专心创新,不用担心基础却又至关重要的技术支撑问题。恰恰是这家小公司,开创了中台的“玩原创 2022-03-21 12:42:11 · 5206 阅读 · 0 评论