数据仓库
文章平均质量分 64
往事随风_h
感谢互联网,让我在知识的海洋遨游了一年又一年,为了感谢广大网友,我也把所学知识分享,咱们一起进步!
展开
-
数据库 与 数据仓库的本质区别是什么?
数据库:传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。数据仓库:数据仓库系统的主要应用主要是OLAP(On-Line Analytical Processing),支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。我尝试着再补充些具体的事例来说明,这样更可以帮助大家更好理解一些。举个最常见的例子,拿电商行业来说好了。基本每家电商公司都会经历,从只需要业务数据库到要数据仓库的阶段。电商早期启动非常容易,入行门槛低。找个外包团队,做了一个可以下单的网页前端原创 2021-04-25 00:17:11 · 11104 阅读 · 2 评论 -
数据仓库 是什么?
数据仓库是伴随着信息技术和决策支持系统(DSS,Decision Support System)的发展而产生的,利用历史的操作数据进行管理和决策。数据仓库是一个面向主题的、集成的、非易失的、随着时间变化的,用于支持管理人员决策的数据集合,数据仓库包含粒度化的企业数据,在不同的粒度级别上对数据进行聚合,这样,数据仓库中就存在最细节的原始数据、轻度聚合数据、高度聚合数据。一,体系结构的变迁早期的数据分析系统是通过“抽取”方式来处理数据,从在线事务处理(OLTP)数据库中,把相关的数据抽取到一个特定.原创 2021-04-12 15:39:54 · 8384 阅读 · 0 评论 -
ODS& DWD& DWS& ADS 数仓分层
数仓分层ODS:Operation Data Store原始数据DWD(数据清洗/DWI ) data warehouse detail数据明细详情,去除空值,脏数据,超过极限范围的明细解析具体表DWS(宽表-用户行为,轻度聚合) data warehouse service ----->有多少个宽表?多少个字段服务层–留存-转化-GMV-复购率-日活 、点赞、评论、收藏;轻度聚合对DWDADS(APP/DAL/DF)-出报表结果 Application Data Store做分析原创 2021-02-28 14:17:11 · 9738 阅读 · 2 评论 -
一分钟搞明白什么是维度,什么是事实,什么是度量,什么是粒度
维度在《数据仓库工具箱》一书中对维度的定义是:维度表是事实表不可或缺的组成部分。维度表包含业务过程度量事件有关的文本环境。他用来描述与"谁、什么、哪里、何时、如何、为什么"有关的事件。维度用来描述事实,他从不同角度描述事实,也就是说维度是描述事实的角度。我们描述事实的何时,那么就是时间维度。比如我们描述这件商品的何时售出,那就是时间维度比如我们描述这件商品的何地售出,那就是地理维度比如我们描述这件商品的被谁买了,那就是人员维度等等等事实在《数据仓库工具箱》一书中对事实的定义是:事原创 2021-02-28 14:02:10 · 16921 阅读 · 1 评论 -
数据仓库之数据质量监控
暂时定义为数仓的质量管理,完全可以定义为数据中台的质量管理。数据质量的理解数据质量的高低代表了该数据满足数据消费者期望的程度,这种程度基于他们对数据的使用预期。数据质量必须是可测量的,把测量的结果转化为可以理解的和可重复的数字,使我们能够在不同对象之间和跨越不同时间进行比较。 数据质量管理是通过计划、实施和控制活动,运用质量管理技术度量、评估、改进,进而保证数据的恰当使用。数据质量维度也有说是6个维度的,本文是5个维度完备性(也可以理解为准确性)有效性及时性一致性完整性气泡图如下原创 2020-08-21 17:36:22 · 13956 阅读 · 0 评论 -
数据仓库之元数据管理
元数据(Meta Data),主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库(Metadata Repository)来统一地存储和管理元数据,其主要目的是使数据仓库的设计、部署、操作和管理能达成协同和一致。元数据是数据仓库管理系统的重要组成部分,元数据管理是企业级数据仓库中的关键组件,贯穿了数据仓库的整个生命周期,使用元数据驱动数据仓库的开发,使数据仓库自动化,可视化。构建数据仓库的主要步骤之一是 ETL。这时元数据将发挥.原创 2020-08-21 16:29:27 · 11237 阅读 · 0 评论