数据架构师学习的数据仓库的方法论

数据仓库是所有产品的数据中心，公司体系下的所有产品产生的所有数据最终都流向数据仓库，可以说数据仓库不产生数据，也不消费数据，只是数据的搬运工。
记得很久以前曾有一位前辈和我说过：“进来的数据是垃圾数据，出去也是垃圾数据”。
在实际环境中，往往我们一条业务线会由多个不同的系统支撑组成（例如：很多电商后端业务线都区分为库存系统、售后系统、采购系统、CRM系统等）。
这些系统由于本身设计的缺陷或业务流程变更等问题，所产生的数据往往都是有缺失、冗余的，如果直接使用这些数据去进行数据分析，那最后分析出来的结论多半也不正确。
因此需要有个数据产品来对数据进行整合加工，而数据仓库就是这样一款产品。

要想了解怎么搭建数据仓库，首先需要明白数据仓库的作用：

1. 存储数据
2. 校准数据
3. 整合数据
4. 输出数据
   基于以上几点，需要将数据分层次管理，每一层分工合作，对数据进行不同程度的处理，如同工厂里的流水线一般，从而确保数据的生命性、生态性。
   大数据体系整体架构
   数据仓库并不是独立存在的一个个体，而是与整个大数据体系融为一体的——换句话说，数据仓库就像人的心脏，人只有心脏而没有其他器官是无法单独存活下来的。
   大数据体系架构如图所示：

开源系统