金融数据仓库系列-什么是数据仓库

    一个公司里面不同项目可能用到不同的数据源，有的存在MySQL、Oracle里面，有的又存在Hive里面，甚至还有些利用爬虫爬取的第三方数据源，还有部分的影像文件系统如音频和图像等。这些数据都分散在各个源系统中，如何把各个系统整合到一起，避免数据的孤岛和数据没有打通的问题，然后进行数据分析和挖掘。此时数据仓库(Data Warehouse，DW)就派上用场了。它可以对多种业务数据进行筛选和整合，可以用于数据分析、数据挖掘、数据报表。

1.数据仓库的概念

数据仓库：数据仓库是一个支持管理决策的数据集合。数据是面向主题的、集成的、不易丢失的并且是时变的。数据仓库是所有操作环境和外部数据源的快照集合。它并不需要非常精确，因为它必须在特定的时间基础上从操作环境中提取出来。

数据集市：数据仓库只限于单个主题的区域，例如顾客、部门、地点等。数据集市在从数据仓库获取数据时可以依赖于数据仓库，或者当它们从操作系统中获取数据时就不依赖于数据仓库。其中主题主要分IBM的9大主题模型和Teradata的10大主题模型两个阵营。

2.数据仓库的特点

• 主题性：数据仓库是针对某个主题来进行组织，比如滴滴出行，司机行为分析就是一个主题，所以可以将多种不同的数据源进行整合。而传统的数据库主要针对某个项目而言，数据相对分散和孤立。
• 集成性：
  数据仓库需要将多个数据源的数据存到一起，但是这些数据以前的存储方式不同，所以需要经过抽取、清洗、转换的过程
<