![](https://img-blog.csdnimg.cn/99674b1981a144149f19b7cf2132bcd8.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据仓库
文章平均质量分 86
数据仓库总结
IMezZ
这个作者很懒,什么都没留下…
展开
-
数据仓库建设之确定主题域
一、什么是主题?二、什么是主题域?三、如何划分主题域?1、按照系统划分2、按业务过程划分3、 按需求方划分4、 按部门划分 5、按功能或应用划分6、按行业经验划分一、什么是主题?主题是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念,每一个主题基本对应一个宏观的分析领域。主题域是业务对象高度概括的概念层次归类,目的是便于数据的管理和应用。二、什么是主题域?主题域通常是联系较为紧密的数据主题的集合。可以根据业务的关注点,将这些数据主题划分到不同的主题域(也说是对某个主题进行分析后确转载 2022-06-29 18:24:14 · 2532 阅读 · 1 评论 -
OLTP与OLAP
1.OLTP与OLAP的基本概念与主要区别1.1 OLTP是什么OLTP的全称是On-line Transaction Processing,中文名称是联机事务处理。其特点是会有高并发且数据量级不大的查询,是主要用于管理事务(transaction-oriented)的系统。此类系统专注于short on-line-tansactions 如INSERT, UPDATE, DELETE操作。通常存在此类系统中的数据都是以实体对象模型来存储数据,并满足3NF(数据库第三范式)。1.2 OLAP是什转载 2021-03-10 17:24:54 · 636 阅读 · 0 评论 -
数据仓库系列之维度建模
上一篇文章我已经简单介绍了数据分析中为啥要建立数据仓库,从本周开始我们开始一起学习数据仓库。学习数据仓库,你一定会了解到两个人:数据仓库之父比尔·恩门(Bill Inmon)和数据仓库权威专家Ralph Kimball。Inmon和Kimball两种DW架构支撑了数据仓库以及商业智能近二十年的发展,其中Inmon主张自上而下的架构,不同的OLTP数据集中到面向主题、集成的、不易失的和时间变化的结构中,用于以后的分析;且数据可以通过下钻到最细层,或者上卷到汇总层;数据集市应该是数据仓库的子集;每个数据集市是针转载 2021-03-10 17:10:44 · 200 阅读 · 0 评论 -
缓慢变化维 (Slowly Changing Dimension) 常见的三种类型及原型设计
开篇介绍在从 OLTP 业务数据库向 DW 数据仓库抽取数据的过程中,特别是第一次导入之后的每一次增量抽取往往会遇到这样的问题:业务数据库中的一些数据发生了更改,到底要不要将这些变化也反映到数据仓库中?在数据仓库中,哪些数据应该随之变化,哪些可以不用变化?考虑到这些变化,在数据仓库中的维度表又应该如何设计以满足这些需要。很显然在业务数据库中数据的变化是非常自然和正常的,比如顾客的联系方式,手机号码等信息可能随着顾客的所在地的更改发生变化,比如商品的价格在不同时期有上涨和下降的变化。那么在业务数据库中转载 2021-03-10 11:41:48 · 2058 阅读 · 0 评论 -
ODS浅析
1,ODS和DW* 根据Bill.Inmon的定义,“数据仓库是面向主题的、集成的、稳定的、随时间变化的,主要用于决策支持的数据库系统” ;* ODS (Operational Data Store)操作型数据存储,ODS具备数据仓库的部分特征和OLTP系统的部分特征,它是“集成的、当前或接近当前的、不断变化的”数据,一般不保留数据的变动轨迹,是数据仓库体系结构中的一个可选部分;ODSDW主要是...转载 2018-06-20 09:37:01 · 7116 阅读 · 0 评论 -
大数据里面B域,M域,O域具体是指什么
特指电信行业大数据领域的三大数据域。B域=business support system的数据域,O域=operation support system的数据域,M域=management support system的数据域。B域有用户数据和业务数据,比如用户的消费习惯、终端信息、ARPU的分组、业务内容,业务受众人群等。O域有网络数据,比如信令、告警、故障、网络资源等。M域有位置信息,比如人群...转载 2018-06-20 09:20:57 · 22768 阅读 · 0 评论 -
数据仓库的粒度
概述粒度问题是设计数据仓库的一个最重要方面。粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高,粒度级就越小;相反,细化程度越低,粒度级就越大。数据的粒度一直是一个设计问题。数据仓库环境中粒度之所以是主要的设计问题,是因为它深深地影响存放在数据仓库中的数据量的大小,同时影响数据仓库所能回答的查询类型。粒度的大小需要数据仓库在设计时在数据量大小与查询的详细程度之间作出权衡。粒度...转载 2018-06-20 09:16:48 · 12354 阅读 · 0 评论 -
数据仓库开发之路之一--准备工作
在数据仓库的开发过程中,需要熟悉大量的概念以及相关工具的使用,还需要了解宏观上的各种开发流程,串联起来完成最终的数据仓库项目的开发,本篇介绍一些准备工作,包括涉及到的工具介绍,以及开发过程的描述,记录学习研究的印记,并和大家讨论研究存在的相关问题。数据仓库的开发,是完全独立于OLTP系统的,也就是独立于当前各种应用的业务系统而作的分析项目,因此要包含从数据的迁移(提取)、变换、清洗、加载等ETL操...转载 2018-06-15 16:07:42 · 7518 阅读 · 0 评论 -
数据仓库规范
一. 数据仓库层次结构规范1.1 基本分层结构系统的信息模型从存储的内容方面可以分为,STAGE接口信息模型、ODS/DWD信息模型,MID信息模型、DM信息模型、元数据信息模型。在各个信息模型中存储的内容如下描述: 1) SRC接口层信息模型:提供业务系统数据文件的临时存储,数据稽核,数据质量保证,屏蔽对业务系统的干扰,对于主动数据采集方式,以文件的方式描述系统与各个专业子系统之间...转载 2018-06-21 09:41:25 · 4412 阅读 · 0 评论 -
数据仓库中的一些核心概念
1、什么是数据仓库 数据仓库技术是随着人们对大型数据库系统研究的不断深入,在传统数据库技术基础之上发展而来的,其主要目的就是为决策提供支持,为OLAP、数据挖掘深层次的分析提供平台。 数据仓库是一个和实际应用密不可分的研究领域,与传统数据库相比,数据仓库不仅引入了许多新的概念,而且在体系结构、数据组织等方面,均有其自身的特点。1232、数据仓库要解决的基本问题 全局范...转载 2018-06-21 09:33:58 · 1497 阅读 · 1 评论