胖子哥的大数据之路（一）-数据仓库也需要大数据

胖子哥的大数据之路（一）-数据仓库也需要大数据

PPV课  •  2014年2月25日  •  Hadoop,  张子良  •  阅读 2127

一、楔子

大数据传统企业实施，其路漫漫，绝不会如昙花一现，探索大数据在传统行业的实施之路，寻找一条适合传统行业的企业大数据实施方法体系，是我执着坚守的信念，大数据是一种信仰，吾将上下而求索。记下项目中的点滴，算是日志，自勉。

二、项目背景

最近在处理一个商业银行的大数据项目，旨在构建大数据资源池，项目边界确认过程中，针对项目的定位出现了两种不同的观点，对大数据的在传统行业的应用有了新的启发。观点一、大数据作为操作数据历史库，存储操作数据库数据，提供历史数据长周期，快速检索的历史数据存储和快速查询服务。观点二、大数据作为数据仓库的的历史库，解决数据仓库历史数据存储的问题，构建一个大容量，高可用的数据存储平台，为全量数据分析和知识挖掘提供服务。作为操作数据库的历史库，已经完成了项目的实施，但是作为数据仓库的历史库之前的定位一直是取代，基于大数据做数据分析和知识挖掘，现在却找到了一个新的切入点，才发现，原来二者并不矛盾。

三、数据仓库与操作数据库

数据仓库的定义并无统一的说法，通常的到人们认可的概念是：一个面向主题的、集成的、时变的、非易失的数据集合，支持管理者的决策过程。简单点说数据仓库就是一种语义上的数据存储，它充当决策支持数据模型的物理实现，并存放于企业战略决策相关的重要信息。

数据仓库不同于操作数据库，操作数据库的主要任务是执行联机事务处理和查询处理，称作联机事务处理（OLTP）系统。数据仓库系统在数据分析和决策支持方面为用户或者机器学习提供服务，即联机分析处理（OLAP）。二者的主要区别在于五个大的方面:

1）用户系统的面向性：客户与市场；

2）数据内容：当前与历史；

3）数据库设计：ER与面向主题

4）视图：当前与全景

5）访问模式：原子事务与只读操作

传统模式下数据仓库服务器通常采用关系型数据库，也就是说从软件实现的角度，数据仓库和操作型数据采用的模式是一样的。这就决定了，数据仓库和操作数据库面临同样的问题：行业垄断带来的成本依赖、数据模型带来的存储瓶颈和运算瓶颈。

数据仓库的三层架构如下图所示：

四、大数据的位置

数据仓库系统应用大数据技术的模式还在探索，但是目前总结了几个方面的应用。

1）大数据作为数据仓库的历史数据存储系统：解决数据仓库只能存储短时段数据的问题

2）构建基于大数据平台的数据模型，致力于低成本的数据挖掘体系：传统BI的瓶颈在于软硬件绑定、商业垄断和处理性能，基于但数据开源体系的算法模型和并行计算能力，构建全量的数据分析和挖掘，最终目标在于取代原有高成本的BI体系，为企业降低负担。

3) 实时+离线模式的确立，可以充分利用企业已有的IT资源设施，充分利用成熟的BI技术，从而为企业提供更好的服务。

五、遗留问题

大数据定位为离线的数据仓库，将会出现三级数据存储模型，实时操作库-数据仓库-大数据资源池，目标有定位已经明确，但是具体实施仍要探索，未完待续…