数据体系规范化

本文介绍了阿里巴巴的数据体系规范化建设,重点在于OneData体系,旨在解决数据不统一、不规范的问题。通过数据公共层建设,提供标准化、共享的数据服务,降低数据互通成本,提升效率。OneData涉及数据规范定义、模型设计和ETL研发的全过程,旨在将数据从零散转化为统一的资产,实现数据仓库规划、数据模型设计和数据服务的统一。
摘要由CSDN通过智能技术生成

基础是标准化、规范化

建立数据仓库,面向主题的、集成的、相对稳定的、反映历史变化的数据集合,以支持管理决策decision making

大数据:大量volumn、多样variety、快速velocity、价值密度低value、准确性veracity、可视化visualization、合法性validity

多源数据、多样数据、提炼并应用数据价值

平台化及场景化的数据仓库、元数据管理、主数据管理、数据质量、数据泄漏、数据科学

云上数据中台致力于构建标准统一、融会贯通、资产化、服务化和闭环自优化的智能大数据体系

大数据应该是标准、规范、有序的

oneData、oneEntity、oneService

数据的标准与统一

实体统一

数据服务统一

(1)计算后台:实时计算、离线计算

(2)云上数据中台:全局数据仓库规划、数据规范定义、数据建模与研发、数据链接萃取、数据运维监控

采集尽可能丰富的数据源,清洗、结构化后形成垂直数据中心,即统一的ods数据基础层,

然后,进行数据研发建模,处理为不因业务特别是组织架构变动而轻易转移的数据中间层,包括明细数据中间层和汇总数据中间层,与数据基础层一起形成公共数据中心。包括电商、文娱、金融。。。等数据

更进一步,以业务单元、或以业务对象(人、货、场

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

科学的N次方

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值