电子商务数据仓库架构

 根据目前了解知识，简单介绍电子商务大数据的数据仓库架构，希望大家批评指正。

   

        首先说说数据仓库建设的几大部分：

       一、计算平台、展示平台

            计算平台目前主流hadoop集群+(greenplum or teradata)，可支持日PV千万级别的应用需求，

            也有电商使用oracle、sqlserver做计算平台，可能由于历史原因未作修改，淘宝转hadoop是由于Oracle的硬件和维护价格过高，以后电商估计会逐渐像hadoop过渡，

            在不出现新技术的情况下。

            展示平台(这边只分析数据库，前端报表层了解有限)目前有mysql，oracel，postgresql，sqlserver,各有所长，按需选择。

     二、调度、监控系统

            调度系统目前多自己开发，比较简单，功能基本都已完善。

            监控系统比较复杂，功能还不完善，需要一起探讨。

    三、元数据管理

            目前国外常用的元数据标准是OMG组织制定的CWM模型，国内很多家没有专门的元数据管理标准，但实际建设过程中都有用到一些，需要找到适合自己的元数据管理规   范，这是数据仓库建设很重要的一环。

    四、模型

            由于经验较少，只说说自己认为可行的模型，建议按照专题划分，

           然后建设数据集市，汇总即为企业级数据仓库。

           分层建议分为 源数据层(可完全按照源格式，也可适当增加便于分析字段)，中间层(此层可根据需求分多个中间层，主要用来存储常用中间表、事实表)，

                                  多维层(此层数据从中间层获取)，静态报表层(此层可从中间层或多维层获取)。

 

     由于刚做数据仓库这行，肯定有很多问题，但是不总结进步很慢，所以还是写上来，希望前辈看到帮忙指正，同时也可以给没入门的同学了解一下数据仓库情况，谢谢。