大数据治理平台建设规划

■数据管理的现状 1
|数据治理的概述 3
2.1数据治理概念 3
2.2数据治理目标 4
|数据治理体系 4
|数据治理核心领域 5
4.1 数据模型 5
4.2数据生命周期 6
4.3数据标准 9
4.4主数据 11
4.5数据质量 12
4.6数据服务 15
4.7数据安全 16
I数据治理保障机制 17
5.1制度章程 17
5.1.1规章制度 17
5.1.2管控办法 18
5.1.3考核机制 18
5.2数据治理组织 20
5.2.1组织架构 20
5.2.2组织层次 21
5.2.3组织职责 22
5.3流程管理 26
5.4 IT技术应用 26
5.4.1支撑平台 26
5.4.2技术规范 29
附件A数据管理规范 30
附件B数据质量评估办法 56
附件C数据质量管理流程 62
关于数据治理的理解
■数据管理的现状
根据行业信息化发展的现状，结合当今行业数据治理的 要求，大型集团或政务管理部门现阶段数据管理方面存在以 下的不足：
(1)数据多头管理，缺少专门对数据管理进行监督和 控制的组织。信息系统的建设和管理职能分散在各部门，致 使数据管理的职责分散，权责不明确。组织机构各部门关注 数据的角度不一样，缺少一个组织从全局的视角对数据进行管 理，导致无法建立统一的数据管理规程、标准等，相应的数 据管理监督措施无法得到落实。组织机构的数据考核体系也尚 未建立，无法保障数据管理标准和规程的有效执行。
(2)多系统分散建设，没有规范统一的省级数据标准 和数据模型。组织机构为应对迅速变化的市场和社会需求，
逐步建立了各自的信息系统，各部门站在各自的立场生产、
使用和管理数据，使得数据分散在不同的部门和信息系统中， 缺乏统一的数据规划、可信的数据来源和数据标准，导致数 据不规范、不一致、冗余、无法共享等问题出现，组织机构各 部门对数据的理解难以应用一致的语言来描述，导致理解不一 致。
(3)缺少统一的主数据，组织机构核心系统间的人员 等主要信息并不是存储在一个独立的系统中，或者不是通过 统一的业务管理流程在系统间维护。缺乏对集团公司或政务 单位主数据的管理，就无法保障主数据在整个业务范围内保 持一致、完整和可控，导致业务数据正确性无法得到保障。
(4)缺乏统一的集团型数据质量管理流程体系。当前 现状中数据质量管理主要由各组织部门分头进行；跨局跨部 门的数据质量沟通机制不完善；缺乏清晰的跨局跨部门的数 据质量管控规范与标准，数据分析随机性强，存在业务需求 不清的现象，影响数据质量；数据的自动采集尚未全面实现， 处理过程存在人为干预问题，很多部门存在数据质量管理人 员不足、知识与经验不够、监管方式不全面等问题；缺乏完 善的数据质量管控流程和系统支撑能力。
（5）数据全生命周期管理不完整。目前，大型集团或 政务单位，数据的产生、使用、维护、备份到过时被销毁的 数据生命周期管理规范和流程还不完善，不能确定过期和无 效数据的识别条件，且非结构化数据未纳入数据生命周期的管 理范畴；无信息化工具支撑数据生命周期状态的查询，未有 效利用元数据管理。
I数据治理的概述
2.1 数据治理概念
数据治理是指将数据作为组织资产而展开的一系列的 具体化工作，是对数据的全生命周期管理。
数据治理体系是指从组织架构、管理制度、操作规范、
IT应用技术、绩效考核支持等多个维度对组织的数据模型、 数据架构、数据质量、数据安全、数据生命周期等各方面进 行全面的梳理、建设以及持续改进的体系。
2.2 数据治理目标
数据治理的目标是提高数据的质量（准确性和完整性）， 保证数据的安全性（保密性、完整性及可用性）,实现数据 资源在各组织机构部门的共享；推进信息资源的整合、对接和 共享，从而提升集团公司或政务单位信息化水平，充分发挥信 息化作用。
I数据治理体系
数据治理体系包含两个方面，一是数据质量核心领域， 二是数据质量保障机制。
具体两者内容及相互关系可以参见下图：

核心领域 I

数据治理体系包含数据治理组织、数据构架管理、主数据管 理、数据质量管理、数据服务管理及数据安全管理内容，这 些内容既有机结合，又相互支撑。
4.1数据模型
数据模型是数据构架中重要一部分，包括概念数据模型
和逻辑数据模型，是数据治理的关键、重点。理想的数据模 型应该具有非冗余、稳定、一致、易用等特征。逻辑数据模 型能涵盖整个集团的业务范围，以一种清晰的表达方式记录 跟踪集团单位的重要数据元素及其变动，并利用它们之间各 种可能的限制条件和关系来表达重要的业务规则。数据模型 必须在设计过程中保持统一的业务定义。为了满足将来不同 的应用分析需要，逻辑数据模型的设计应该能够支持最小粒 度的详细数据的存储，以支持各种可能的分析查询。同时保 障逻辑数据模型能够最大程度上减少冗余，并保障结构具有 足够的灵活性和扩展性
4.2数据生命周期
一般包括数据生成及传输、数据存储、数据处理及应用、
数据销毁四个方面。
（1）数据生成及传输
数据应该能够按照数据质量标准和发展需要产生，应采 取措施保证数据的准确性和完整性，业务系统上线前应该进 行必要的安全测试，以保证上述措施的有效性。对于手工流 程中产生的数据在相关制度中明确要求，并通过事中复核、 事后检查等手段保证其准确性和完整性。数据传输过程中需 要考虑保密性和完整性的问题，对不同种类的数据分别采取 不同的措施防止数据泄漏或数据被篡改。
（2）数据存储
这个阶段除了关注保密性、完整性之外，更要关心数据 的可用性，对于大部分数据应采取分级存储的方式，不仅存 储在本地磁盘上，还应该在磁带上，甚至远程复制到磁盘阵 列中，或者采用光盘库进行存储。对于存储备份的数据要定 期进行测试，确保其可访问其数据完整。数据的备份恢复策 略应该由数据的责任部门或责任人负责制定，信息化管理部 门可以给予相应的支持。同时还需要注意因为部门需要或故障 处理的需要，可能对数据进行修改，必须在数据管理办法
中明确数据修改的申请审批流程，审慎对待后台数据修改。
（3） 数据处理和应用
信息化相关部门需要对数据进行分析处理，以挖掘出对 于管理及业务开展有价值的信息，为保证过程中数据的安全 性，一般应采用联机处理，系统只输出分析处理的结果。但 是实际中，因为相关数据分析系统建设不到位，需要从数据 库中提取数据后再对数据进行必要的分析处理，在这个过程 中就需要关注数据提取操作是否可能对数据库造成破坏、提 取出的数据在交付给分析处理人员的过程中其安全性是否 会降低、数据分析处理的环境安全性等等。
（4） 数据销毁
这个阶段主要涉及数据的保密性。应明确数据销毁的流 程，采用必要的工具，数据的销毁应该有完整的记录。尤其 是对于需要送出外部修理的存储设备，送修之前应该对数据 进行可靠的销毁。
4.3数据标准
数据标准是集团单位建立的一套符合自身实际，涵盖定 义、操作、应用多层次数据的标准化体系。
数据标准的建立是集团单位信息化、数字化建设的一项 重要工作，行业的各类数据必须遵循一个统一的标准进行组 织，才能构成一个可流通、可共享的信息平台。
数据治理对标准的需求可以划分为两类，即基础性标准 和应用性标准。前者主要用于在不同系统间，形成信息的一 致理解和统一的坐标参照系统，是信息汇集、交换以及应用 的基础，包括数据分类与编码、数据字典、数字地图标准； 后者是为平台功能发挥所涉及的各个环节，提供一定的标准规 范，以保证信息的高效汇集和交换，包括元数据标准、数据 交换技术规范、数据传输协议、数据质量标准等。
（1）数据分类与编码
数据分类与编码标准是信息化建设中标准化的一项基
础工作，该类标准规定平台汇集、交换相关信息统一的分类 系统和排列顺序以及编码规则，目的是在不同系统和用户之 间建立交通数据的一致参照，对提高数据采集、处理和数据 交换效率具有重要作用。数据分类与编码标准的制定将有力 推进平台标准化及交通信息化建设标准化的进程。
（2） 数据字典
针对实际需求，定义数据集，建立各个领域的数据字典， 规范数据概念和数据定义。在此基础上，形成完备的集团单 位数据集和数据字典。
（3） 元数据标准
元数据标准是描述数据资源的具体对象时所有规则的 集合，它包括了完整描述一个具体数据对象时所需要的数据 项集合。针对各种信息资源分别制定适当的元数据标准，可 为信息的管理、发现和获取提供一种实际而简便的方法，从 而提高数据交换效率。
（4） 数据交换标准
为了保证数据共享和交换的顺利实现，必须明确定义和 规范数据交换的相关标准。数据交换的标准规范是集团单位 综合信息平台的核心标准。其中应当包括数据交换内容、数 据交换格式、数据传输方式、各类中心间数据接口的标准化 等方面。
（5） 数据质量标准
由于数据采集任务通常由其他二级平台完成，数据治理 平台的标准方法主要集中在数据的加工和管理上。应该重点 开发的一个领域是数据质量控制方法。应当从三个方面对数 据质量方法进行研究：“坏数据”或“不可靠数据”的识别， 错误数据的编辑方法，以及缺少值的处理。
4.4主数据
主数据管理要做的就是从各部门的多个业务系统中整 合最核心的、最需要共享的数据（主数据），集中进行数据 的清洗和丰富，并且以服务的方式把统一的、完整的、准确 的、具有权威性的主数据传送给集团单位范围内需要使用这 些数据的操作型应用系统和分析型应用系统。
主数据管理的信息流应为：
1） 某个业务系统触发对主数据的改动；
2） 主数据管理系统将整合之后完整、准确的主数据传 送给所有有关的应用系统
3） 主数据管理系统为决策支持和数据仓库系统提供准 确的数据源。
因此对于主数据管理要考虑运用主数据管理系统实现， 主数据管理系统的建设，要从建设初期就考虑整体的平台框 架和技术实现。
4.5数据质量
数据质量不高将影响数据仓库应用程度不高。低下的数 据质量往往造成开发出来的系统