223页10万字大数据中心总体架构及数据仓库顶层设计解决方案WORD

原文《大数据中心总体架构及数据仓库顶层设计解决方案》WORD格式，共223页约10万字主要从大数据中心设计原则、大数据中心逻辑架构设计、大数据中心逻辑模型设计、数据仓库设计（数据仓库设计原则、主题域模型设计、概念模型设计、逻辑模型设计）、数据应用流程等进行建设。适用于售前项目汇报、项目规划、领导汇报、招投标技术文件使用。

来源网络，旨在交流学习，如有侵权，联系速删，更多参考公众号：优享智库

本项目中，数据库设计与建设、‘’

包括用于数据中心进行数据存储、交换、应用的数据中心数据库，和用于数据统计、分析、挖掘的数据仓库的设计与建设。

数据中心是存储XXX经过筛选、去重、整理后的核心业务、人员数据等信息，整合了全市各类主体信息资源和市场主体、人员相关的信息资源，并进行统一管理和维护；数据中心通过深入挖掘数据价值，开发实现灵活、高效的数据查询、业务报表、数据共享和数据交换等功能，为政务公开、业务协同、绩效考核、决策支持、公共服务等提供数据保障。

数据中心逻辑架构设计
数据中心逻辑模型设计
数据仓库主题域模型设计
数据应用流程

根据XXXXXXXXX工程建设规划要求，基于统一的数据标准，建设以业务数据为基础，以数据共享为主线，以提高数据资源价值为目标，涵盖数据采集、数据治理、数据利用等各方面的，全市大集中的XXX市XXX工程数据中心，并使其成为XXXXXXXXX工程数据的存储中心、管理中心、交换中心和服务中心。

数据中心逻辑架构图

在业务梳理、业务数据分析的基础上，将XXX工程数据资源进行分析、归整，形成XXX工程数据中心整体的数据逻辑模型。如下图：

1、业务数据

业务数据也可以称为生产数据，在业务开展过程中形成，主要记录和存储业务处理的原始信息，是对XXX工程各业务系统业务处理过程所涉及信息的全面反映，包括各类业务处理的业务管理数据以及政务管理数据，因此，业务数据是市场监督管理的核心数据。业务数据包括：行政许可数据、市场监管数据、执法办案数据以及政务管理数据等。

2、决策支持数据

决策支持数据是按照面向分析主题，对业务数据进行二次加工形成的面向管理和决策服务的数据。XXX工程决策支持数据可以分为两大类，一类是按照管理服务对象为核心重新组织的业务主体数据，例如市场主体数据、广告数据、合同数据等；另一类是汇总统计、分析挖掘后形成的数据，主要是对报表汇总、数据综合利用、信息挖掘后形成的结果信息的记录。

3、共享交换数据

共享交换数据主要是实现XXX工程内各系统之间，以及与外系统之间的数据交换与共享。共享交换数据主要包括广东省工商局、质监局、知识产权局交换数据、XXXXXX工程内部交换数据、各级政府及委办局交换数据（各级市场监督管理系统与同级政府、委办局的交换数据）、公共服务数据等。

4、基础规范数据

基础规范数据用于对整个系统基础的信息资源进行约束。基础规范数据主要包括资源目录体系、标准代码数据、数据字典等。

5、系统管理数据

系统管理类数据是一种公共的、基础的环境数据，一般包括系统环境数据，如系统环境参数信息、系统运行状态信息等描述系统运行环境的数据，以及机构、用户、权限、日志等描述业务运行基础和环境的数据。

6、元数据

元数据是描述数据及其环境的数据，主要包括各类系统使用的共享元数据和各类系统自主元数据。

主题数据库是经科学规划，面向业务主体的数据组织存储形式。主题库的结构设计与应用处理过程相分离，能有效实现数据的关联和共享，降低大型信息系统的开发和维护成本。

系统设计中一般有三类主题组织形式：

• 面向业务管理的数据主题

按照业务领域建立业务主题。

• 面向管理服务对象的数据主题

按照管理服务对象来组织相关数据。例如：经济户籍主题、商品（食品）主题、价格（收费）主题、人员信息主题等。

• 决策分析主题

按照决策分析需求组织数据，例如：辖区经济秩序评价主题、企业信用分类主题、人员绩效考核主题。

数据应用的总体流程如下所示：

根据应用需要，以及数据库的规划，将数据应用分为操作型数据处理、分析型数据处理。

操作型数据处理主要是针对OLTP类型的应用提供数据服务，主要是向业务信息综合应用系统中的核心业务类应用，如主体登记子系统、综合监管子系统、消保维权子系统、行政处罚子系统等核心业务类应用以及部分的内部政务管理类应用提供联机的数据处理服务。

分析型数据处理主要是针对OLAP类型的应用提供数据服务，主要是向数据中心系统、管理决策支持系统，如数据ETL过程、数据加工、数据统计分析、数据挖掘等提供数据处理服务。

1、一体化业务数据库

从整体上看，操作型数据处理是数据资源的基本生产单元，综合信息化管理系统生成并使用各类业务数据。操作型数据一方面来自于各业务应用系统业务办理过程的产出，另一方面来源于经数据共享交换自相关系统传递过来的外部数据。以主体登记为例，业务办理过程产出的申请案数据，属于操作型数据。

2、ODS数据

ODS数据即数据中心数据。根据定义，ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。

仍以主体登记为例，一家企业开设后，数据根据企业变更、迁移等各类业务不断变化，随时间迁移会增加出相关的监管、年检、处罚各类数据。对于主体登记，此时基于业务申请数据，产生实体数据（ODS数据）概念。一家企业的实体数据指通过历次申请沉淀，集成各类附加信息，反映企业当前情况的数据。此例反映出ODS数据由操作型数据不断更新，面向主题，当前或接近当前并且不断变化的特征。通过此例，也反映出对于市场监督管理数据仓库建设，ODS是不可或缺的一部分。

3、ETL

由于操作型数据不直接产生，而需要经过筛选才能产生ODS数据。例如，企业的ODS数据中不需要业务申请的办理人、办理过程，因为其不直接反映企业现状，这个筛选过程被称为ETL过程（采集、转换、传输、装载）。通过分析型数据处理的数据ETL过程（采集、转换、传输、装载）将各类业务数据资源归集到数据中心的ODS数据中。

4、分析数据

ODS本身可以提供主题数据，通过ODS数据的加工处理（统计定制和模型建立），可形成各类统计分析数据。

在ODS基础上进行数据的分析挖掘、综合利用，产生的分析型数据处理是数据资源的综合利用的核心。

5、元数据

在数据仓库领域中，元数据被定义为：描述数据及其环境的数据。

元数据有两方面的用途。首先，元数据能辅助应用，如记录数据项的业务描述信息的元数据能帮助用户使用数据；其次，元数据能支持系统对数据的管理和维护，如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说,在数据仓库系统中,元数据机制主要支持以下五类系统管理功能:（1）描述哪些数据在数据仓库中；（2）定义要进入数据仓库中的数据和从数据仓库中产生的数据；（3）记录根据业务事件发生而随之进行的数据抽取工作时间安排；（4）记录并检测系统数据一致性的要求和执行情况；（5）衡量数据质量。

对元数据进行管理，可形成XXX工程数据资源目录管理应用。

6、共享交换数据

通过数据中心的共享交换服务，对外提供数据交换和信息服务，对内进行跨业务领域、跨系统的数据共享使用。