![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据仓库
文章平均质量分 91
村口蹲点的阿三
抱狙蹲点
展开
-
阿里巴巴大数据之路-元数据
元数据元数据概述元数据定义元数据( Metadata )是关于数据的数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态按用途分两类技术元数据技术元数据是存储关于数据仓库系统技术细节的数据,是用于开发和管理数据仓库使用的数据常见技术元数据类型分布式计算系统存储元数据理解为数据地图:如表、列、分区、责任人、生命周期等信息。分布式计算系原创 2021-11-16 22:17:07 · 1547 阅读 · 0 评论 -
阿里巴巴大数据之路-事实表设计
事实表设计事实表基础事实表特性通过获取描述业务过程的度量来表达业务过程,包含了引用的维度和与业务过程有关的度量事实表中一条记录所表达的业务细节程度被称为粒度粒度两种表达方式一种是维度属性组合所表示的细节程度一种是所表示的具体业务含义作为度量业务过程的事实整型或浮点型的十进制数值可加性可加性事实是指可以按照与事实表关联的任意维度进行汇总半可加性可加性事实只能按照特定维度汇总,不能对所有维度汇总,如库存只能指定条件可加无法日期汇总不可加原创 2021-11-10 02:14:27 · 1643 阅读 · 0 评论 -
阿里巴巴大数据之路-维度设计
维度设计维度设计基础维度的基本概念维度是维度建模的基础和灵魂。将度量称为“事实” ,将环境描述为“维度”维度所包含的表示维度的列,称为维度属性查询约束条件分组和报表标签生成的基本来源据易用性的关键维度使用主键标识其唯一性代理键不具有业务含义的键一般用于处理缓慢变化维前台应用系统:商品ID代理键自然键具有业务含义的键数据仓库系统:商品ID自然键维度的基本设计方法选择维度或新建维度维度的唯一性确定主维表一般是 O原创 2021-10-27 00:03:34 · 1104 阅读 · 0 评论 -
阿里巴巴大数据之路-数据整合&管理体系
数据整合&管理体系OneDataOneData 即是阿里巴巴内部进行数据整合及管理的方法体系和工 具。阿里巴巴的大数据工程师在这一体系下,构建统一、规范、可共享 的全域数据体系,避免数据的冗余和重复建设,规避数据烟囱和不一致 性,充分发挥阿里巴巴在大数据海量、多样性方面的独特优势。借助这 一统一化数据整合及管理的方法体系,我们构建了阿里巴巴的数据公共 层,并可以帮助相似的大数据项目快速落地实现。下面重点介绍 OneData 体系和实施方法论。概述阿里巴巴集团大数据建设方法论的核心是 :从业务原创 2021-10-08 09:41:10 · 1805 阅读 · 0 评论 -
阿里巴巴大数据之路-大数据领域建模综述
阿里巴巴大数据之道-大数据领域建模综述为什么要数据建模?Linux 的创始人 Torvalds 有一段关于“什么才是优秀程序员”的话:“烂程序员关心的是代码,好程序员关心的是数据 结构和它们之间的关系。“数据建模的好处性能 :良好的数据模型能帮助我们快速查询所需要的数据,减少 数据的 110 吞吐。成本 : 良好的数据模型能极大地减少不必要的数据冗余,也能实 现计算结果复用,极大地降低大数据系统中的存储和计算成本。效率 :良好的数据模型能极大地改善用户使用数据的体验,提高 使用数据的效率。质原创 2021-10-01 16:07:15 · 471 阅读 · 0 评论