一、项目背景
### --- 项目背景
~~~ 人类正从IT时代走向DT(Data Technology)时代。
~~~ 在DT时代,人们比以往任何时候更能收集到更丰富的数据。
~~~ IDC 的报告显示:预计到2020年,全球数据总量将超过40ZB(相当于40 万亿GB),
~~~ 这一数据量是2011年的22倍。正在呈“爆炸式”增长的数据,其潜在的巨大价值有待发掘。
~~~ 如果不能对这些数据进行有序、有结构地分类组织和存储,
~~~ 不能有效利用并发掘它,继而产生价值,那么它同时也成为一场“灾难”。
~~~ 无序、无结构的数据犹如堆积如山的垃圾,给企业带来的是令人咋舌的高额成本。
~~~ 日益丰富的业态,也带来了各种各样、纷繁复杂的数据需求。
~~~ 如何有效地满足企业决策层、管理层、员工、商家、合作伙伴等多样化的需求,
~~~ 提高他们对数据使用的满意度,是数据服务和数据产品需要面对的挑战。
~~~ 如何建设高效的数据模型和体系,使数据易用,避免重复建设和数据不一致性,保证数据的规范性;
~~~ 如何提供高效易用的数据开发工具;
~~~ 如何做好数据质量保障;
~~~ 如何有效管理和控制日益增长的存储和计算消耗,保证数据服务的稳定,保证其性能;
二、大数据系统要求
### --- 这些都给大数据系统的建设提出了更多的要求。
~~~ 这里介绍的电商离线数据仓库项目,正是为了满足不断变化的业务需求,
~~~ 实现系统的高度扩展性、灵活性以及数据展现的高性能而设计的。
~~~ 整个项目的讲解分为以下几个部分:
~~~ # 上半部分
~~~ 数据仓库理论
~~~ 电商离线数据仓库设计
~~~ 会员活跃度分析
~~~ 广告分析
~~~ # 下半部分
~~~ 核心交易分析
~~~ 任务调度
~~~ 血缘关系和数据管理
~~~ 数据质量监控
~~~ 即席查询