数据仓库
丹江怒潮
这个作者很懒,什么都没留下…
展开
-
理解维度数据仓库——事实表、维度表、聚合表
事实表在多维数据仓库中,保存度量值的详细值或事实的表称为“事实表”。一个按照州、产品和月份划分的销售量和销售额存储的事实表有5个列,概念上与下面的示例类似。 SateProductMouthUnitsDollarsWAMountain-100January3转载 2017-09-14 10:11:28 · 2136 阅读 · 0 评论 -
数据仓库分层架构设计
大数据数据仓库是基于HIVE构建的数据仓库,分布文件系统为HDFS,资源管理为Yarn,计算引擎主要包括MapReduce/Tez/Spark等,分层架构如下:1、数据来源层:日志或者关系型数据库,并通过Flume、Sqoop、Kettle等etl工具导入到HDFS,并映射到HIVE的数据仓库表中。2、事实表是数据仓库结构转载 2017-09-15 10:39:39 · 829 阅读 · 0 评论 -
元数据管理
什么是元数据大数据整个流程中,各种表的元信息和各种job的元信息。以及数据的流转过程,依赖及血缘关系。原创 2017-10-18 10:02:34 · 390 阅读 · 0 评论 -
数据仓库原理<3>:数据仓库与ODS
1. 引言本篇主要讲述操作数据存储(ODS)系统产生的背景、定义、特点,以及它与数据仓库的区别。在前两篇,笔者介绍了什么是数据仓库?为什么需要数据仓库?数据仓库系统的体系结构是什么?因此可能在读者心里已经形成了企业数据存储的DB~DW两层体系结构的概念,但在实际应用中,并不总是这样,有时候我们可能需要ODS这一系统来搭建DB~ODS~DW三层数据体系,那么什么是ODS?为什么需要ODS转载 2017-12-05 17:26:18 · 925 阅读 · 0 评论 -
第二篇:数据仓库与数据集市建模
阅读目录前言 维度建模的基本概念 维度建模的三种模式 实例:零售公司销售主题的维度建模 更多可能的事实属性 经典星座模型 缓慢变化维度问题 数据仓库建模体系之规范化数据仓库 数据仓库建模体系之维度建模数据仓库 数据仓库建模体系之独立数据集市 三种数据仓库建模体系对比 小结回到顶部前言 数据仓库建模包含了几种数据建模技术,除了之前在数据库系列中介绍过...转载 2019-01-06 21:37:29 · 434 阅读 · 3 评论 -
mysql b树
首先,正确的创建合适的索引,是提升数据库查询性能的基础。索引是什么?索引是为了加速对表中数据行的检索而创建的一种分散存储的数据结构。索引的工作机制是怎样的?如上图中,如果现在有一条sql语句 select * from teacher where id = 101,如果没有索引的条件下,我们要找到这条记录,我们就需要就行全表扫描,匹配id = 101的数据。如果有了索引,我们就可...转载 2019-06-08 15:28:26 · 285 阅读 · 0 评论