本文介绍了数据仓库的定义和基本流程，包括数据源采集、数据计算与存储、数据共享和数据应用。数据仓库存储历史数据，用于决策支持。流程中涉及HDFS、MapReduce、Hive、SparkSQL、Apache Kylin等工具。数据共享通过关系型数据库或NoSQL实现，服务于报表、业务产品和OLAP分析。
数据仓库流程&架构（一）
定义
数据仓库是逻辑上的概念，是一个数据集合。
数据仓库中的数据有这两个特点:
- 最全的历史数据（海量）；
- 相对稳定的：不同于业务系统数据库，数据经常会被更新。数据一旦进入数 据仓库，很少会被更新和删除，只会被大量查询。
数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。
流程
数据仓库的基本流程主要是数据流入流出的过程。可分为四个主要步骤。
此过程的目的是将数据从不同数据源采集并存储下来。接入的大部分是未做处理的明细数据。数据源多种多样，要针对不同的数据源采取不同的采集方式。有时候可做简单清洗和过滤。常见的数据源有：业务日志、关系型数据库&#
最低0.47元/天 解锁文章
3809
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
