何为数据仓库

仓库,顾名思义是存放东西的地方。数据仓库就是存放数据的仓库。之所以叫数据仓库就是为了与仓库对应起来,使形象更生动。一说到仓库,人们就会想到一排排的货架,一排排的货物。每个货架都是有不同的编号的,编号不同,所代表的意思也不同。当人们想要在仓库里找某样东西时,通过编号就可以快速地找到。同样的,数据仓库也是经过整理,分门别类地存放数据的,可以供人们快速地找到不同的数据。使用起来更加方便,方便后续的数据分析和数据展示。

  1. 所以数据仓库是需要分层次的,不同的层次有不同的作用。一般会分为ODS、子公司、DM、展现等四个层次。
  2. ODS层是指镜像层。镜像的意思就相当于是复制,就好像是业务系统的影子一样。说到这里需要提一下业务系统与数据仓库的区别。数据仓库的数据都是来源于业务系统,而又区别于业务系统。根据功能的不同需要对业务系统和数据仓库加于区分。业务系统主要就是承载业务过程中产生的数据,记录交易或者是日常行为产生的数据。例如订单等。业务系统的数据有很明显的特点就是数据是比较散乱的,只能反映片面的信息。如果需要了解全面的信息需要进一步对数据进行整理。这些工作就是需要在数据仓库里完成的。所以ODS层简单来说就是把业务系统中的交易信息或是人们日常产生的信息同步到数据仓库。
  3. 子公司层就是在ODS的基础上进一步加工,把相同主题的数据整合到一起,按不同主题分类成各个主题事实表。
  4. 子公司层也承载的是基本经过整理后的数据,就好像仓库里面经过整理的一个个货架一样。一个货架只放一类东西,不同类的东西会存放到不同的货架上面。这时的子公司事实表在维度上只会存放维度KEY,维度相关的属性会在单独形成的维度表里。这样根据事实表与不同的维度就会形成一个星型模型。如果维度上还存在另外的一个维度的话,那么就会开成雪花模型。
  5. 维度层,这个是脱离于数仓架构外,但又贯穿于整个个数仓架构中。维度最好是在业务系统中就开始统一,统一使用业务键编码。因为维度对于数仓的整体架构是非常重要的一个环节。如果维度表设计得好的话,在整个数据仓库加工的过程中会节省大量的工做。因为无论是在ODS层数据清理,还是在子公司层的数据加工,维度表都是要使用到的。如果维表不统一,在加工的过程中就需要大量的特殊处理,使维度保持一致。加工逻辑越是复杂,那么维护的成本就会越高。
  6. 再下来就是DM层了,DM层就是DATAMAKR层,也就是数据集市。数据仓库大了,可能一个仓库就放不下所有的东西了,而且数据仓库越大,找起货物来时间就要越长。所以这个时间数据集市也就出现了。数据集市可以看成是一个个小型的数据仓库,但是又区别于数据仓库。在数据集市中的数据都是经过数据仓库加工好的数据。它只是进一步按主题细分存放数据,一般一个数据集市只会存放一类大主题,某几个小主题的数。在这一层是最接近展现层的了,所以这一层会有个很明显的特点,就是跟展现层非常类似。
  7. 展现层现层是最终的成果,一切都是为最终呈现给客户而设计。所以传统的展现层在这里会开成一个事实表多个维度表的星型结构。多维分析是基于层现层的数据而做出的报表设计。通过多维分析业务可以自由地通过不同的维度组合来分析不同的业务场景,从而诊断出不同的问题。当然,多维分析这个也是需要经过业务员的分析,是需要花费不少时间的。如果某些分析是重复性的,每个月或每天都需要做同样的动作,同样的查询分析的话,这些都是可以固定下来开成固定报表的。甚至直接设定红线,不同的值直接给出不同的提示。这样就可以直接一步到位,每天直接根据结果就可以进行下一步的业务动做。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值