《大数据之路：阿里巴巴大数据实践》-第2篇 数据模型篇 -第8章 大数据领域建模综述

已于 2022-09-05 19:27:16 修改
阅读量490 收藏 2
点赞数
分类专栏： 【在线书籍】 文章标签： 大数据 数据挖掘 数据仓库
于 2022-09-02 15:32:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_54252387/article/details/126663915
版权
本文概述了大数据领域建模的重要性，对比了关系数据库系统与数据仓库的区别，探讨了OLTP和OLAP系统的模型选择。文章介绍了ER模型、维度模型、Data Vault模型和Anchor模型的原理和应用场景，并分享了阿里巴巴数据模型的实践历程，从早期的Oracle到后来的Greenplum，再到基于Hadoop和MaxCompute的维度建模，强调了在快速变化的业务环境中选择合适模型的挑战与经验。
摘要由CSDN通过智能技术生成

《大数据之路：阿里巴巴大数据实践》系列丛书

 第1章 总述

第1篇 数据技术篇
 第2章 日志釆集
 第3章 数据同步
 第4章 离线数据开发
 第5章 实时技术
 第6章 数据服务
 第7章 数据挖掘
第2篇 数据模型篇
 第8章 大数据领域建模综述
 第9章 阿里巴巴数据整合及管理体系
 第10章 维度设计
 第11章事实表设计
第3篇数据管理篇
 第12章 元数据
 第13章 计算管理
 第14章 存储和成本管理
 第15章 数据质量
第4篇数据应用篇
 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据之路：阿里巴巴大数据实践（数据模型篇）
南雨有云
07-20 662
思维导图 第8章 大数据领域建模综述 一、典型的数据仓库建模方法论 1、ER模型 特点：需要全面了解企业业务和数据、实施周期非常长、对建模人员的能力要求非常高。 2、维度模型 步骤：选择需要进行分析决策的业务过程、选择粒度、识别维表、选择事实（确定分析需要衡量的指标） 3、Data Vault模型 Data Vault模型由以下几部分组成： Hub：是企业的核心业务实体，由实体key、数据仓库序列代理键、装载时间、数据来源组成； Link：代表Hub之间的关系。这里与ER模型最大的区别是将关系作为一个独立
《大数据之路：阿里巴巴大数据实践》-第4篇 数据应用篇 -第16章 数据应用
m0_54252387的博客
09-05 1201
大数据建设与管理的方法论 和实践，“生产要素”已经准备好，需要通过合适的方式提供给不同类 型的用户，让数据最大化地发挥价值。阿里巴巴作为一家天然的大数据 公司，对数据的应用表现在各个方面，如搜索、推荐、广告、金融、信 用、保险、文娱、物流等业务。将数据提供给商家，可以用于指导商家 的数据化运营，为商家提供多样化、普惠性的数据赋能；将数据提供给 阿里巴巴内部的搜索、推荐、广告、金融等平台，可以用于实现更好的 搜索体验、更精准的个性化推荐，优化购物体验，更精准地进行广告投 放、更普惠的金融服务等；将数据提供给阿
连载：阿里巴巴大数据实践—数据建模综述
阿里云开发者
08-27 1454
简介：数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。前言：-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号（文末扫描二维码或点此加入）-阿里云数据中台官网 https://dp.alibaba.com/index 来源：数智化转型俱乐部随着DT时代互联网、智能设备及其他信息技术的发展，数据爆发式增长，如何将这些数据进行有序、有结构地分类组织和存储是我们面临的一个挑战。如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地
阿里大数据之路学习-典型常见的数据仓库建模方法
最新发布
shenkailun2018的博客
11-14 277
----satellite 实体对象的属性 一个对象可以含多个satellite 多类属性。| 关联的两个对象的系统主键+创建时间+数据来源（不含任何属性）| 实体主键+系统主键+创建时间+数据来源（不含任何属性）|----link 实体对象间的联系 没有对应的实体对象属性。只能看到主键的描述 其他的属性只能看到代码值，也不知道实际含义。只有 实体对象主键+主键描述+各类其他属性主键（k-v）直接属性表中的其他属性值 间接属性 应该是通用的。
《大数据之路：阿里巴巴大数据实践》笔记——数据模型篇
GodxvA
11-29 2185
为什么要数据建模 性能：良好的数据模型能帮助我们快速查询所需要的数据，减少数据的 110 吞吐。 成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低大数据系统中的存储和计算成本。 效率：良好的数据模型能极大地改善用户使用数据的体验，提高使用数据的效率。 质量：良好的数据模型能改善数据统计口径的不一致性，减少数据计算错误的可能性。 数据仓库建模方法论 ER 模型：用实体关系（ Entity Relationship, ER ）模型描述企业业务，在范式理论上符合 3NF
阿里巴巴大数据之路-大数据领域建模综述
liuya19921123的博客
10-01 638
阿里巴巴大数据之道-大数据领域建模综述 为什么要数据建模？ Linux 的创始人 Torvalds 有一段关于“什么才是优秀程序员”的话：“烂程序员关心的是代码，好程序员关心的是数据 结构和它们之间的关系。“ 数据建模的好处 性能 ：良好的数据模型能帮助我们快速查询所需要的数据，减少 数据的 110 吞吐。 成本 ： 良好的数据模型能极大地减少不必要的数据冗余，也能实 现计算结果复用，极大地降低大数据系统中的存储和计算成本。 效率 ：良好的数据模型能极大地改善用户使用数据的体验，提高 使用数据的效率。 质
阿里大数据之路：数据模型篇大总结
微信搜：import_bigdata，大数据领域硬核原创作者
10-24 5381
全网最全大数据面试提升手册！第1章 大数据领域建模综述1.1 为什么需要数据建模有结构地分类组织和存储是我们面临的一个挑战。数据模型强调从业务、数据存取和使用角度合理存储数据。数据模型方法，以便在性能、成本、效率之间取得最佳平衡成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低大数据系统中的存储和计算成本。效率：良好的数据模型能极大地改善用户使用数据的体验，提高使用...
《大数据之路：阿里巴巴大数据实践》之第八章 大数据领域建模综述
职业转发抽奖选手的博客
11-12 723
《大数据之路：阿里巴巴大数据实践》-第1篇 数据技术篇 -第6章 数据服务
m0_54252387的博客
09-02 544
数据部门产出的海量数据，如何能方便高效地开放出去，是我们一 直想要解决的难题。在没有数据服务的年代，数据开放的方式简单、粗 暴，一般是直接将数据导出给对方。这种方式不仅低效，还带来了安全 隐患等诸多问题。 为此，我们在数据服务这个方向上不断探索和实践。最早的数据服 务雏形诞生于2010年，至今已有7个年头。在这期间，随着我们对业 务的理解不断加深，同时也得益于新技术的持续涌现，对数据服务架构 也进行了多次升级改造。服务架构的每次升级，均在性能、稳定性、扩 展性等方面有所提升，从而能更好地服务于用户。
《大数据之路：阿里巴巴大数据实践》-第1篇 数据技术篇 -第3章数据同步
m0_54252387的博客
09-01 848
我们将数据釆集分为日志采集和数据库数据同步两 部分。数据同步技术更通用的含义是不同系统间的数据流转，有多种不 同的应用场景。主数据库与备份数据库之间的数据备份，以及主系统与 子系统之间的数据更新，属于同类型不同集群数据库之间的数据同步。 另外，还有不同地域、不同数据库类型之间的数据传输交换，比如分布 式业务系统与数据仓库系统之间的数据同步。对于大数据系统来说，包 含数据从业务系统同步进入数据仓库和数据从数据仓库同步进入数据 服务或数据应用两个方面。本章侧重讲解数据从业务系统同步进入数据 仓库这个环节，但其适
《大数据之路：阿里巴巴大数据实践》-第1篇 数据技术篇 -第4章 离线数据开发
m0_54252387的博客
09-01 422
从采集系统中收集了大量的原始数据后，数据只有被整合和计算， 才能被用于洞察商业规律，挖掘潜在信息，从而实现大数据价值，达到 赋能于商业和创造价值的目的。面对海量的数据和复杂的计算，阿里巴 巴的数据计算层包括两大体系：数据存储及计算平台(离线计算平台 MaxCompute和实时计算平台StreamCompute)、数据整合及管理体系 (OneData)。   本章主要介绍MaxCompute和阿里巴巴内部基于MaxCompute的大 数据开发套件，并对在数据开发过程中经常遇到的问题和相关解决方案 进行介绍。.
《大数据之路：阿里巴巴大数据实践》-第3篇 数据管理篇 -第13章 计算管理
m0_54252387的博客
09-05 404
Hadoop等分布式计算系统评估资源的方式，一般是根据输入数据 量进行静态评估，Map任务用于处理输入，对于普通的Map任务，评 估一般符合预期；而对于Reduce任务，其输入来自于Map的输出，但 一般只能根据Map任务的输入进行评估，经常和实际需要的资源数相 差很大，所以在任务稳定的情况下，可以考虑基于任务的历史执行情况 进行资源评估，即采用HBO （History-Based Optimizer,基于历史的优 化器）。
《大数据之路-阿里巴巴大数据实践》第八章 大数据领域建模综述
技术与健康
09-03 205
大数据之路读书笔记-08大数据领域建模综述
数字人生
07-11 389
随着DT时代互联网、智能设备及其他信息技术的发展，数据爆发式增长，如何将这些数据进行有序、有结构地分类组织和存储是我们面临的一个挑战。 如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地放置；如果把数据看作城市的建筑，我们希望城市规划布局合理：如果把数据看作电脑文件和文件夹，我们希望按照自己的习惯有很好的文件夹组织方式，而不是糟糕棍乱的桌面，经常为找一个文件而不知所措。数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。 Linux 的创始人 Torvalds 一段关于
数据仓库理论进阶 - 01 《阿里大数据之路》第二篇数据模型篇
m0_46507516的博客
06-12 898
数据仓库
数据仓库进阶 《阿里大数据之路》第二篇 数据模型篇 (完整版)
m0_46507516的博客
06-26 2432
数据仓库
《大数据之路：阿里巴巴大数据实践》第三篇 数据管理篇-读书笔记
程序员学习圈
09-10 1840
12.元数据 12.1 元数据概念 12.1.1 元数据定义 按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中的模型的定义、各层级间的映射关系、监控数据仓库的数据状态一级ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便的找到他们所关心的数据，用于指导其进行数据管理和开发工作，提高工作效率。 元数据可以分为技术元数据 和 业务元数据。 * 技术元数据
阿里大数据之路笔记：数据模型篇1-大数据领域建模综述
eeeddieee的博客
12-11 563
本文主要是大数据之路数据模型篇的开篇-大数据领域建模综述。从总体概括的角度介绍大数据领域建模的挑战、目标、发展历史、阿里巴巴的实践阶段
大数据之路:阿里巴巴大数据实践 pdf
05-13
《大数据之路:阿里巴巴大数据实践》是一本介绍阿里巴巴大数据实践的书籍，该书主要介绍了在数据科学、数据初探、大数据中心、数据管理和数据分析方面的经验和实践。 该书首先介绍了阿里巴巴的数据科学实践，包括...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九层之台起于累土

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值