2021-01-31

                         数据仓库相关

数据仓库：在计算机领域，数据仓库也被称为企业数据仓库（EDW），主要用于报表和数据分析系统，是商业智能的核心组成部分。
数据仓库是一个中央存储库，里面存储来自一个或多个不同数据源的整合数据。数据仓库存储当前和历史数据，为贯穿整个企业的知识性员工创建分析型报告。比如这些报告可以是构建在日常销售分析基础上的年度或季度对比趋势，存储在仓库中的数据来自于业务系统（比如营销或销售系统）。

数据集市：是数据仓库的一种简单形式，里面集中存储了某一个单一主题或功能区域的数据。数据集市的裸数据来自于一些有限的数据源，如销售财务或市场系统数据往往由一个组织内的某一个部门建立，并使用数据源可以是内部业务系统，一个中央数据仓库或外部数据规范化，是该系统中数据建模技术的常态，鉴于数据及时，经常仅覆盖数据仓库中数据的一个子集，他们往往更容易和更快速实现 。

在线分析处理（OLAP）：在数据仓库中广泛使用，常用来分析来自多个数据源的多维数据。首要特点是在线密码比较少，查询经常比较复杂，并涉及到聚合。对OLAP系统来说，响应时间是一个重要指标。该系统广泛应用于数据挖掘技术，OLAP，数据库存储汇总和历史性数据在多维模型中经常使用星型模型。该系统通常具有几个小时的数据延迟而设计即逝的通常数据延迟接近一天。

数据仓库的概念最早可以追溯到20世纪80年代后期，当时IBM的研究员开发了业务数据仓库。后来经过不断发展，现金一些企业开始尝试使用传统数据仓库技术进行BI系统的构建也就是使用一条工具实现数据的导出，转换，清洗和装入工具，使用操作型数据存储（ODS）存储明细数据，使用数据集市和数据仓库技术实现面向主题的历史数据存储使用，多维分析工具进行前端展现以及使用数据仓库工具提供的挖掘引擎或基于单独的数据挖掘工具进行预测分析等。

传统数据仓库技术具有以下优点：
1.通过完善的数据清洗转换，保证了ods数据的准确性和一致性。
2.通过数据仓库技术提升了BI系统的性能。
3.通过多维分析展现工具，给客户提供了全面的多维分析报表统计和即时查询功能。
4.通过数据挖掘技术帮助客户灵活地进行预测分析。

传统数据仓库的缺点：
1.随着竞争的进一步加剧，企业需要对市场变化进行及时响应，对数据仓库的实效性要求越来越高，而传统数据仓库中的数据都是经过批量定期更新的，难以满足时效性的要求。
2.越来越多的一线用户需要使用数据仓库，而传统数据仓库用户通常只针对高端管理层或少数管理人员，更多的一线用户无法访问数据仓库。
3.业务系统越来越需要传统数据仓库直通，提供相应的分析能力，而传统数据仓库通常不会主动推送分析能力。
于是其开始使用动态数据仓库技术解决上述问题，动态数据仓库技术给企业带来了实时分析能力，大大提高了企业的竞争力。相比传统数据仓库，动态数据仓库具有以下优点：
1.一线用户可以动态的访问数据仓库，以便获取所需的信息。
2.使用动态数据加载方式相比传统数据仓库，采用批量形式加载数据，动态数据仓库通常以准实时的方式连续下载数据，从而在根本上保证数据仓库数据的实时性。
3.采用事件驱动和主动推送的方式为业务系统提供分析能力。

数据仓库的数据模型包括概念模型，逻辑模型和物理模型三个层次，目前对数据仓库数据模型的研究多集中在逻辑模型。

概念模型是客观世界到计算机系统的一个中间层次，最常用的表示方法是ER图。目前数据仓库一般是建立在数据库的基础之上，所以其概念模型与一般关系型数据库的概念模型一致。

逻辑模型是数据的逻辑结构，如关系模型和层次模型等数据仓库的逻辑模型是多维模型，描述了数据仓库主题的逻辑实现即每个主题对应的模式定义数据仓库的数据模型包括星型，雪花型，星型—雪花型。三者都是以事实表为中心，不同之处只是外围维表之间的关系不同而已。

星型模型的每个维度都对应唯一的维表，维的层次关系全部通过维表中的字段实现。

物理模型是逻辑模型的，具体实现如物理存取方式，数据存储结构，数据存放位置和存储分配等，在设计数据仓库的物理模型时，需要考虑提升的性能的技术，如表分区、建索引等。