数据架构师学习的数据仓库的方法论

数据仓库是所有产品的数据中心，公司体系下的所有产品产生的所有数据最终都流向数据仓库，可以说数据仓库不产生数据，也不消费数据，只是数据的搬运工。
记得很久以前曾有一位前辈和我说过：“进来的数据是垃圾数据，出去也是垃圾数据”。
在实际环境中，往往我们一条业务线会由多个不同的系统支撑组成（例如：很多电商后端业务线都区分为库存系统、售后系统、采购系统、CRM系统等）。
这些系统由于本身设计的缺陷或业务流程变更等问题，所产生的数据往往都是有缺失、冗余的，如果直接使用这些数据去进行数据分析，那最后分析出来的结论多半也不正确。
因此需要有个数据产品来对数据进行整合加工，而数据仓库就是这样一款产品。

要想了解怎么搭建数据仓库，首先需要明白数据仓库的作用：

1. 存储数据
2. 校准数据
3. 整合数据
4. 输出数据
   基于以上几点，需要将数据分层次管理，每一层分工合作，对数据进行不同程度的处理，如同工厂里的流水线一般，从而确保数据的生命性、生态性。
   大数据体系整体架构
   数据仓库并不是独立存在的一个个体，而是与整个大数据体系融为一体的——换句话说，数据仓库就像人的心脏，人只有心脏而没有其他器官是无法单独存活下来的。
   大数据体系架构如图所示：

开源系统
数据的来源系统，可以理解为数据的收集系统。
如图所示为基于电商业务下的大数据体系，因此数据大体可分为业务数据和用户行为数据，其来源系统更多是与电商业务相关的后端订单、库存等业务系统以及前端商城带来的用户行为数据。
原始数据层
顾名思义，即存放从来源系统过来的原始数据，所谓原始数据——即