请教两个个维度建模方面的问题,请qing兄等大侠不吝赐教。(转)

我先在基本上是采用kimball的方法进行数据仓库的建模,其中有这么一个问题:
我的一个"人员维度"--记录了类似CRM系统的客户的各类信息--这个维度表的记录将达到近亿条,业务中,每一个人员都是有单位归属的,单位也有相应
的一些分析需要的属性,而且单位的数量也应该是百万级别的,从单位角度分析人员这个主体也是分析的要求之一,现在的问题是,是按照退化维度表的方式处理
成一个维度表呢,还是按照雪花型的方式处理好呢?

另外,还有一个地域维度的处理问题,单位是有地域归属的,人员也是有地域归属的,每个人的服务机构也是有地域归属的,比如说,单位所在地为A地,某甲工
作所在地在B地,消费地在C地。
现在我有了人员维度、单位维度(也许有,取决于前面的问题),服务人员维度(这里有一个情况和前一个问题类似,服务人员所在的服务机构是放在这一个维度
表中好呢,还是另外建立一个服务机构维度?),那么在这个三个维度,之外,我再建立一个"地域维度"和这三个维度构成雪花好呢,还是不建立地域维度表把
地域维度退化到这个三个维度中好呢?如果是后者,有什么样的办法/机制维护分散在这三个维度中的地域信息一致呢?

谢谢,请大家多多指教,不胜感激!!!

roundedcorners?c=fad163&bc=&w=2&h=2&a=tlroundedcorners?c=fad163&bc=&w=2&h=2&a=tr
roundedcorners?c=fad163&bc=&w=2&h=2&a=blroundedcorners?c=fad163&bc=&w=2&h=2&a=br
您需要先 登录才能发帖。
要发帖子,您需要先 加入此论坛
请先在 订阅设置页上更新您的昵称,然后再进行发帖。
请先在 订阅设置页上更新您的昵称,然后再进行发帖。
dot_clear.gif
Jerome Qi
查看个人资料
更多选项 7月2日, 上午10时14分
发件人: "Jerome Qi" ...@gmail.com>
日期: Mon, 2 Jul 2007 10:14:56 +0800
当地时间: 2007年7月2日(星期一) 上午10时14分
主题: Re: 请教两个个维度建模方面的问题,请qing兄等大侠不吝赐教。
谈谈我的一些想法。

对于你的第一个问题,人员和单位的问题,我觉得可以做雪花处理。
因为,
1.人员和单位的基数相差比较大,在100倍左右。
2.人员和单位的数据量都非常大。雪花处理节省的存储空间还是比较可观的。
3.人员记录数过多,如果再考虑到人员维度的缓慢变化维问题,将其中的一部分内容拆出来是难免的。
如果为了分析的性能和效率考虑的话,还可以将"单位维度表"的主键同时保存在人员维度表及其相应的事实表中。
另外,将人员和单位放在一个维度表中不叫退化维度,叫合并维度。一般来说,如果两个维度表之间的关系是固定的,不是多对多的,而且不随时间发生变化,这时我们才将他们合并成一个超大维度。而退化维度是指那些维度表本身没有信息需要保存,所以直接将其保存在事实表中的维度。

对于你的第二个问题,人员有地域维度,单位有地域维度,服务机构也有地域维度的问题,我觉得也可以做雪花处理。
因为,
1.与上一个问题类似,数据量大,基数相差大等原因。
2.这个地域维度在多个维度表中出现了,可以考虑建成独立的维度表。

对于你的第三个问题,如果地域维度不单独建表的话,如何维护分散在不同的维度表中的地域信息的一致性问题。
对于这个问题,Kimball的解决办法是在数据准备区中(data staging
area)处理。也就是说,不管采用什么方式设计维度表,这个单独的地域表在数据准备区中一定要存在。而那三个包含地域信息的维度表是在发布的时候,通过查询生成的。对于kimball的总线架构,数据准备区是一个非常重要的地方,可以参看一下他的ETL
Toolkit。

[@more@]

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/8227599/viewspace-932929/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/8227599/viewspace-932929/

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值