根据目前了解知识,简单介绍电子商务大数据的数据仓库架构,希望大家批评指正。
首先说说数据仓库建设的几大部分:
一、计算平台、展示平台
计算平台目前主流hadoop集群+(greenplum or teradata),可支持日PV千万级别的应用需求,
也有电商使用oracle、sqlserver做计算平台,可能由于历史原因未作修改,淘宝转hadoop是由于Oracle的硬件和维护价格过高,以后电商估计会逐渐像hadoop过渡,
在不出现新技术的情况下。
展示平台(这边只分析数据库,前端报表层了解有限)目前有mysql,oracel,postgresql,sqlserver,各有所长,按需选择。
二、调度、监控系统
调度系统目前多自己开发,比较简单,功能基本都已完善。
监控系统比较复杂,功能还不完善,需要一起探讨。
三、元数据管理
目前国外常用的元数据标准是OMG组织制定的CWM模型,国内很多家没有专门的元数据管理标准,但实际建设过程中都有用到一些,需要找到适合自己的元数据管理规 范,这是数据仓库建设很重要的一环。
四、模型
由于经验较少,只说说自己认为可行的模型,建议按照专题划分,
然后建设数据集市,汇总即为企业级数据仓库。
分层建议分为 源数据层(可完全按照源格式,也可适当增加便于分析字段),中间层(此层可根据需求分多个中间层,主要用来存储常用中间表、事实表),
多维层(此层数据从中间层获取),静态报表层(此层可从中间层或多维层获取)。
由于刚做数据仓库这行,肯定有很多问题,但是不总结进步很慢,所以还是写上来,希望前辈看到帮忙指正,同时也可以给没入门的同学了解一下数据仓库情况,谢谢。