数据中台
文章平均质量分 92
BabyFish13
不要急,慢慢来;控制好节奏,奋斗到底!
展开
-
数据治理中的数据分类
一、记录类数据1、事务数据事务是数据库处理数据的一个单元,可以理解为一次数据库CRUD的操作。事务数据就是记录下数据库操作的系统日志数据,以及特定业务场景中,专门记录的业务操作事务记录的数据,比如用于安全审计的系统登录日志。2、业务数据业务数据就是为了完成业务流程而存储的业务操作类数据。就是业务系统的绝大多数表和数据。3、日志数据早期的日志数据是属于事务数据中的。现在大数据时代,用户访问数据变得越来越重要,所以单独分离出来。二、管理类数据1、元数据元数据(Meta-d..原创 2022-03-09 11:32:23 · 6922 阅读 · 0 评论 -
所谓数据治理
转自:所谓数据治理 - 知乎 (zhihu.com)那些年,我们一起踩过的坑大数据时代,数据成为社会和组织的宝贵资产,像工业时代的石油和电力一样驱动万物,然而如果石油的杂质太多,电流的电压不稳,数据的价值岂不是大打折扣,甚至根本不可用,不敢用,因此,数据治理是大数据时代我们用好海量数据的必然选择。但大家都知道,数据治理是一项长期而繁杂的工作,可以说是大数据领域中的脏活累活,很多时候数据治理厂商做了很多工作,但客户却认为没有看到什么成果。大部分数据治理咨询项目都能交上一份让客户足够满意的答卷,但是原创 2022-03-09 09:01:43 · 540 阅读 · 0 评论 -
什么是MaxCompute
MaxCompute(ODPS)是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效地分析处理海量数据。随着数据收集手段不断丰富,行业数据大量积累,数据规模已增长到了传统软件行业无法承载的海量数据(TB、PB、EB)级别。MaxCompute提供离线和流式数据的接入,支持大规模数据计算及查询加速能力,为您提供面向原创 2022-03-04 09:08:02 · 2723 阅读 · 0 评论 -
将信将疑,将中台进行到底
本文作者:guohua一、将信将疑一个概念的兴起往往伴随着某种话语权的转移。就像中台。人们都知道马云参观Supercell的故事,都知道2015年阿里的中台战略,也都知道阿里集团在中台之后如帝国一般的繁荣。而且仔细感觉一下,事情还有些蹊跷,虽然中台是阿里根据Supercell的模式提出的,但故事的走向却越来越像牛顿看到苹果落地而悟出了万有引力一样——真正的主角是阿里,Supercell纵然很成功,却只像一个不能自知的苹果,等待着被人总结。所以哪怕最后腾讯收购了Supercell,大家还是觉得天下原创 2020-08-11 16:59:07 · 362 阅读 · 0 评论 -
数据仓库、数据湖、数据中台基础概念与对比
现在各种新名词层出不穷,顶层的有数字城市、智慧地球、智慧城市、城市大脑;企业层面的有数字化转型、互联网经济,数字经济、数字平台; 平台层面的有物联网,云计算,大数据,5G,人工智能,机器智能,深度学习,知识图谱;技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等,总之是你方唱罢他登场,各种概念满天飞…在数据技术方面,随着大数据技术的不断更新和迭代,数据管理工具得到了飞速的发展,相关概念如雨后春笋一般应运而生,如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据原创 2020-06-09 19:36:03 · 2284 阅读 · 0 评论 -
中台的分类及实时数据中台构建
中台的种类1.技术中台(基础服务中台)技术中台指的是将大家都通用的技术能力聚合到一起,由同一个团队负责,防止重复造轮子,是最容易实现的中台化。核心价值是降成本。各公司的基础服务,以账号体系为代表,都已经是中台化的了。淘宝、天猫、飞猪等业务之间,快车、专车、顺风车等业务之间,美团外卖、酒旅、团购之间,必然要做打通。2.数据中台顾名思义,表面上数据中台是各业务的数据能够打通。不过在实际运用中,又分为多种。数据中台的本质就是“数据仓库+数据服务中间件+实时性”。基本的数据采集、数据仓库建立和数据原创 2020-06-06 10:41:14 · 1247 阅读 · 0 评论 -
数据中台研发实践
转自:https://www.sohu.com/a/396680882_411876?scm=1002.44003c.17c024f.PC_ARTICLE_REC作者:颜博,马蜂窝数仓研发总监1、数据处理架构下面是一个简单的数据处理架构演进过程:最早数据仓库的计算只支持批处理,通常是按天定时处理数据,在后期逐步进化到准实时,本质上还是批处理,只是处理频度上得有提升,到小时级,或者15分钟这种。随着技术不断进步,后期演化出一条新的流处理链路,这个链路和之前的批处理分别处理,然后在服务层面利用原创 2020-06-05 18:23:07 · 1167 阅读 · 0 评论 -
数据中台架构与技术选型
转自:https://www.sohu.com/a/396680882_411876?scm=1002.44003c.17c024f.PC_ARTICLE_REC作者:颜博,马蜂窝数仓研发总监1、数据中台架构核心组成我认为的数据中台核心架构包括四大组成部分,具体是:底座是数据基础平台,包括数据采集平台&计算平台&存储平台,这些可以自建也可以使用云计算服务;中间部分两大块是中台的公共数据区,公共数据区包括数据仓库(数据湖) ,主要负责公共数据模型研发,还包括统一指标(标签)平台,负责把原创 2020-06-05 17:20:33 · 2870 阅读 · 0 评论 -
大数据演进:从数据仓库到数据中台
转自:https://www.sohu.com/a/396680882_411876?scm=1002.44003c.17c024f.PC_ARTICLE_REC作者:颜博,马蜂窝数仓研发总监第一阶段21世纪的第一个10年,企业级数据仓库(EDW)从萌芽到蓬勃发展,“IOT”( IBM、Oracle、Teradata)占领了大部分市场,提供数据仓库建设从硬件、软件到实施的整体方案。这个时代的数据仓库实施不仅需要购买大(中、小)型机,配套商用的关系型数据库(Oracle、DB2、SQL Server原创 2020-06-05 16:41:15 · 743 阅读 · 0 评论