数据治理-理论-2-基本过程

转载 https://blog.csdn.net/cqacry2798/article/details/83445593

数据模型

数据模型是数据治理中的重要部分，合适、合理、合规的数据模型，能够有效提高数据的合理分布和使用，它包括概念模型、逻辑数据模型和物理数据模型。

数据模型包含三个部分，数据结构、数据操作、数据约束。

1. 数据结构，主要用来描述数据的类型、内容、性质以及数据间的联系等。
2. 数据操作，主要用来描述在相应的数据结构上的操作类型和操作方式。
3. 数据约束，主要用来描述数据结构内数据间的制约和依存关系，以及数据动态变化的规则，以保证数据的正确、有效和相容。

元数据管理

元数据分为业务元数据、技术元数据和操作元数据，三者之间关系紧密。业务元数据指导技术元数据，技术元数据以业务元数据为参考进行设计，操作元数据为两者的管理提供支撑。

1. 业务元数据，业务元数据是定义和业务相关数据的信息，主要包括：业务指标、业务规则、数据质量规则、专业术语、数据标准、概念数据模型、实体/属性、逻辑数据模型等。
2. 技术元数据，可以分成结构性技术元数据和关联性技术元数据，技术元数据一般以已有的业务元数据作为参考设计的。技术元数据包括：
   • 结构性技术元数据，提供了在信息技术的基础架构中对数据的说明，如数据的存放位置、数据的存储类型、数据的血缘关系等。技术元数据的范围主要包括：技术规则（计算/统计/转换/汇总）、数据质量规则技术描述、字段、衍生字段、事实/维度、统计指标、表/视图/文件/接口、报表/多维分析、数据库/视图组/文件组/接口组、源代码/程序、系统、软件、硬件等。
   • 关联性技术元数据，描述了数据之间的关联和数据在信息技术环境之中的流转情况。
3. 操作元数据，操作元数据主要指与元数据管理相关的组织、岗位、职责、流程，以及系统日常运行产生的操作数据。操作元数据管理的内容主要包括：与元数据管理相关的组织、岗位、职责、流程、项目、版本，以及系统生产运行中的操作记录，如运行记录、应用程序、运行作业。

数据标准

数据标准包括基础标准和指标标准（或称应用标准）。与数据治理其他核心领域具有一定的交叉，比如元数据标准、数据交换和传输标准、数据质量标准等。一般会包括格式、编码规则、字典值等内容。

数据标准的主要由业务定义、技术定义和管理信息三部分构成。

1. 业务定义，业务定义主要是明确标准所属的业务主题以及标准的业务概念，包括业务使用上的规则以及标准的相关来源等。
2. 管理信息，管理信息是指明确标准的所有者、管理人员、使用部门等内容，从而使数据标准的管理和维护工作有明确的责任主体，以保障数据标准能够持续的进行更新和改进。
3. 技术定义，技术定义是指描述数据类型、数据格式、数据长度以及来源系统等技术属性，从而能够对信息系统的建设和使用提供指导和约束。
   

数据质量管理

数据质量问题会发生在各个阶段，例如，在需求和设计阶段就需要明确数据质量的规则定义，从而指导数据结构和程序逻辑的设计；在开发和测试阶段则需要对前面提到的规则进行验证，确保相应的规则能够生效；最后在投产后要有相应的检查，从而将数据质量问题尽可能消灭在萌芽状态。

数据质量管理措施，宜采用控制增量、消灭存量的策略，有效控制增量，不断消除存量

数据生命周期管理

从数据的产生、加工、使用乃至消亡都应该有一个科学的管理办法，将极少或者不再使用的数据从系统中剥离出来，并通过核实的存储设备进行保留，不仅能够提高系统的运行效率，更好的服务客户，还能大幅度减少因为数据长期保存带来的储存成本。数据生命周期一般包含在线阶段、归档阶段（有时还会进一步划分为在线归档阶段和离线归档阶段）、销毁阶段三大阶段，管理内容包括建立合理的数据类别，针对不同类别的数据制定各个阶段的保留时间、存储介质、清理规则和方式、注意事项

从上图数据生命周期中各参数间的关系中可以了解到，数据生命周期管理可以使得高价值数据的查询效率大幅提升，而且高价格的存储介质的采购量也可以减少很多；但是随着数据的使用程度的下降，数据被逐渐归档，查询时间也慢慢的变长；最后随着数据的使用频率和价值基本没有了之后，就可以逐渐销毁。

数据分布和存储

通常情况下，综合数据规模、使用频率、使用特性、服务时效等因素，从存储体系角度，可以将数据存储划分为四类存储区域，即交易型数据区、集成型数据区、分析型数据区、历史型数据区。

数据交换

合理的数据交换体系有助于提高数据共享程度和数据流转时效。一般会对系统间数据的交换规则制定一些原则，比如对接口、文件的命名、内容进行明确，规范系统间、与外部机构间的数据交换规则，指导数据交换工作有序进行。建立统一的数据交换系统，一方面可以提高数据共享的时效性，另一方面也可以精确掌握数据的流向。

数据安全

数据存储安全，包括物理安全、系统安全存储数据的安全，主要通过安全硬件的采购来保障数据存储安全。
数据传输安全，包括数据的加密和数据网络安全控制，主要通过专业加密软件厂商进行规范设计和安装。
数据使用安全，需要加强从业务系统层面进行控制，防范非授权访问和下载打印客户数据信息；建立完善的数据安全管理体系，建立数据安全规范制度体系，组建数据安全管理组织机构，建立有效的数据安全审查机制