书籍简介
随着信息技术的发展和信息化的深入,数据逐步成为企业宝贵的战略性资产。主数据管理正是从企业杂乱的数据中捕捉那些具有高业务价值的、被企业内各个业务部门重复使用的关键数据进行管理,构建单一淮确、权威的数据来源,从而提高企业的整体数据质量,提升数括资产价值,推动业务创新,全面增强企业竞争力。本书编者将在近十年的主数据管理咨询中积累的经验和知识进行总结,通过对主数据管理的原理、技不、实施、产品、案例、发展趋势等内容的介绍,为读者揭开了主数据管理这一新兴概念的神秘面纱,为读者进行数据洽理、主数据管理实践提供重要参考。
《基于全生命周期的主数据管理》,2015年出版,作者赵飞。本书既可补充从事信息化建设的IT 部门人员的专业知识,更能为组织管理者提供信息化知识储备和工作思路,助力组织优化 IT 架构,也可以作为 I咨询从业者、相关专业在校师生的参考读物。读书的目标:数据治理,主数据管理实践提供参考。
这本书共9章,300多页,主要讲了主数据管理的原理,相关的技术,实施,产品,案例,发展趋势等内容。大概可以分为以下三部分。这里主要记录了其中前五章的内容。主要从三方面进行了整理和记录。
-
主数据管理的背景
-
主数据管理的内涵
-
主数据管理的方案
-
补充:主数据管理的关键技术
第一章:主数据管理的背景
竞争环境发生巨大变化,企业需要升级转型。信息资源成为生产要素和无形资产,为了使企业数据发挥价值,企业必须数据治理和综合利用企业数据, 从信息化方面引领企业的转型升级。数据治理的核心环节是主数据管理。数据是重要的战略资源,也就是是数据资产。数据治理是开采方法和手段。
1.1 信息时代的企业发展
互联网信息数据量越来越大,更新速度也越快,企业要依靠IT技术,进行数据治理,挖掘信息资源,即时调整自身发展战略,才能保持在新的局面下持续发展的动力。企业运营和管控都依赖于开发和利用信息资源,因此就需要推动企业进行信息化改革。
企业信息化是指企业利用现代信息技术,通过对信息资源的深度开发和广泛利用,不断提高生产、经营、管理、决策的效率和水平,从而提高企业经济效益和提升企业核心竞争力的过程。其实质是改变收集、处理、利用信息方式,从影响业务流程和组织形式。关键在于获取信息资源,挖掘商业价值
1.2 数据资产
1.2.1 数据资产的概念
什么是数据资产呢?首先得了解数据的几个概念。
- 数据:原始资料、客观描述、数值、操作依据,企业数据包括交易数据、客户数据、员工数据、供应链数据、财务数据、市场数据、操作数据以及网络和社交媒体数据等。
- 信息:数据的内涵意义、内容和解释(标签:信息)
- 数据和信息关系:数据是信息的基础,信息是数据加工后的有意义内容(标签:数据和信息关系)
与数据资产类似的一个词叫做:信息资产。信息资产是企业或组织所拥有或控制的,以电子或非电子形式表示的对过去、现在、未来有关事件的定性或定量描述,包括但不限于数据资产、创意资产、知识产权资产、人才资产、品牌资产和流程资产。
其中,数据资产是指记录资产信息的各种不同形式的数据,比如邮件、文档、报表、票据等;创意资产则包括品牌名称、企业理念、市场战略等非数字化的无形资产;知识产权资产则包括专利、版权、商标等具有法律保护的财产;人才资产则包括雇佣合同、人力资源信息等。数据资产具有物理资产和无形资产的双重特征.
信息资产对于一个企业或组织来说至关重要,它不仅是企业或组织决策的重要依据,也是企业或组织获得商业利益和社会效益的基础。因此,保护信息资产的安全和完整至关重要,需要采取有效的措施和技术手段来防止信息泄露、篡改和破坏。
1.2.2 数据资产现状
信息化系统导致数据量高速膨,导致了一系列问题,如数据不一致、数据冗余、数据断层、数据缺失。低质量数据资产限制信息化和业务融合,无法提取价值。造成问题主要有以下原因:规划不完善、缺乏统一设计、对信息化内容理解有误,业务区隔和行政分化导致数据断层。因此就要进行长期有效的数据治理、建立数据治理体系、挖掘潜力、发挥价值。
第二章:主数据管理的内涵
数据治理最为基础的一环,必经途径便是主数据管理,主数据的应用与数据质量是相辅相成、相互推动。主数据是企业中涉及多个价值链核心业务流程的各个IT 系统的基础数据。基础数据要成为企业的主数据必须满足的条件是该数据产生在一个源业务系统中,但是会在多个其他的业务系统中使用到。
分散管理的主数据由于不具备一致性、准确性和完整性,使得各个企业内部的数据共享受到阻碍,数据资产的价值无法有效开发。 因此需要从企业的多个业务系统中抽取主数据并进行整合,集中进行数据清洗, 并以服务的方式把统一、完整、准确的主数据分发给企业内的操作型应用和分析型应用,包括业务系统、业务流程和决策支持系统等。
主数据管理描述了一组规程、技术和解决方案, 用于创建并维护业务数据的一致性、完整性、相关性和精确性。其落地工作建立一个包括主数据标准体系、 主数据管控体系、主数据质量体系和主数据安全体系在内的完整的主数据体系。
2.1 主数据的概念
主数据的定义:具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据,是单一、准确、权威的数据来源。
主数据的特性(与业务性数据和分析性数据相比)
-
特征一致性:主数据的特征被用作业务流程的判断条件和数据分析的具体维度层次。
-
识别唯一性:同一主数据实体要求有唯一的数据标识,根据一定编码规则得到的唯一的数据编码是进行业务活动的基础。
-
长期有效性:主数据通常贯穿该业务对象的整个生命周期甚至更长。长期有效性的另一表现为主数据失去其效果时系统采取的措施通常为标记无效或标记删除而非直接物理删除。
-
业务稳定性:主数据作为用来描述业务操作对象的关键信息,在业务过程中其识别信息和关键的特征会被业务过程中产生的数据继承、引用和复制。但无论业务过程如何复杂和持久,除非该主数据本身的特征发生变化,否则主数据本身的属性通常不会随业务的过程而被修改。
主数据的范围
这一节从实体和数据层次两个角度定义了主数据的范围。
描述实体范围
应用层次范围
-
元数据:元数据是用于描述其他数据的结构数据,描述数据定义、数据约束、数据关系等。在物理模型中,元数据定义了表和属性字段的性质。
-
引用数据:引用数据定义了元数据的可能取值范围(ps:hcm-mdm也在补充枚举类和字典值)。
-
企业结构数据:描述了企业数据之间的关系,实体间的关系或流程。描述了企业中的层次结构关系,例如,企业组织结构由组织机构、人员、 岗位等主数据组成。
-
业务结构数据:业务结构数据描述了业务的直接参与者,产品数据和客户数据都是典型的业务结构化数据。
2.2 主数据管理的内涵
主数据管理的概念
主数据管理 (Master Data Management, MDM):描述了一组规程、技术和解决方案。
主数据管理目的:创建并维护业务数据的一致性、完整性、相关性和精确性。
主数据管理流程:整合,清洗,标准化,分发。最终数据是统一、完整、准确、具有权威性。
主数据管理目标:主数据从应用和流程中独立出来,提供可重用的服务,进行传输和同步
主数据管理范围的三个理解角度:
-
应用范围:前端,后端,终端的数据
-
业务范围:主数据的产生,处理,使用
-
管控范围:必须对各个应用系统进行管控,形成体系化的管理模式,建立长效机制。
主数据管理的必要性
-
主数据管理不善出现的问题
-
各系统数据隔离,形成数据孤岛,不利于信息交换与集成
-
数据维度过多且不统一,没有统一的数据标准和流程体系,缺乏有效的数据变更和审核机制。
-
存在冗余和错误数据,影响分享决策
-
缺少统一标准,数据对照和映射关系复杂,企业无法保证业务数据统计的及时性和准确性。
-
主数据结构定义复杂,把大量的信息含义定义到了数据编码结构中,数据校验存在大量人为判断和手工操作,没有有效的数据清理手段和工具,缺乏质量保证过程。
-
-
面向业务集成的需求驱动: 业务系统越来越多,需要在分散的业务系统间保证了主数据的完整性、一致性。
-
面向企业变革的需求驱动
-
企业的变革主要包括业务流程、组织结构、信息管理系统和岗位角色四方面的变革,这四大因素是相互作用的。
-
企业不断变革,对于分散业务信息系统的整合和协同提出了严峻挑战,其成败的关键和难点就在于主数据层面的整合和管理。
-
主数据管理的意义
-
标准体系,实现流程驱动和数据管理
-
数据集中访问,提高质量,降低成本
-
提高数据成熟度,实现全生命周期管理
-
决策支持,减少系统汇总和沟通成本
第三章:主数据管理的方案
3.1 主数据管理系统
主数据管理信息系统:是主数据体系落实的保障,构成分散的业务信息系统间权威的、唯一的数据源,最大限度地保证了主数据的完整性、一致性。
主数据管理系统的目标:通过主数据系统的抽取、加工,提供准确、及时、一致、完整的主数据。
主数据管理系统的任务
-
管理平台:建立主数据标准平台,以企业信息化建设需求和业务协作需求为起点,管理数据进行全生命周期管理,支持主数据标准和管理流程,实现标准化。
-
编码与属性:分类建立编码和标准属性库
-
数据标准:主数据标准管理
-
系统集成:提供集成接口,实现与BI、业务系统集成
主数据管理解决方案
-
操作型MDM:关注的是数据流的上游,通常是业务系统的数据,通过MDM治理,让高质量的MDM数据成为可信的主数据数据源,让数据走出去。
-
分析型MDM:关注点是数据流的下游,通常是BI系统,数仓。通常是MDM的切入点,因为不涉及修改业务系统的数据,实施成本低。
主数据管理系统的架构模式
-
合并:从业务系统中抽取出来,提供统一、准确的数据来源,只提供查询功能,数据源修改后MDM跟着同时修改
-
注册:MDM存储主数据的索引信息,其他系统查询时,通过MDM查询数据存储位置,然后访问源数据提供访问
-
共存:MDM与源数据共同维护数据,数据变化时两个系统同步修改,但对数据质量没有管控
-
集中:集中存储,MDM维护数据,并同步给源数据,对数据生产、审核、使用、变更、核销全生命周期进行质量管控
主数据管理系统的主要功能
企业应用集成架构
主数据管理系统和数仓
共同点:
价值相同:减少数据冗余和不一致性、提升对数据的洞察力,二者都是跨部门的集中式系统;
技术手段相同:会涉及到ETL 技术、都需要元数据管理、都强调数据质量
建设手段类似:需要以数据治理的规范作为指导、都需要不同系统、不同部门的协作、需要统一的安全策略。
不同点:
处理类型不同:MDM偏操作性系统,服务对象是业务系统。数仓偏分析性系统,面向是分析性应用
实时性要求不同:数仓是批量ETL方式,mdm初始化的时候使用ETL,后续依赖实时整合
存储数据量不同:数仓存了大量历史数据,可能是海量的,mdm只存了关键数据,相对较少。
3.2 主数据体系规划
主数据管理的关键是建立持续,稳定的长效管理机制,全面实施主数据管理的第一阶段便是主数据体系规划。规划的主要目标是明确主数据体系的发展方向、体系架构和实施步骤。当然主数据体系规划需要得到企业各个部门的支持作,采用自上而下的规划方法,以保系结构的完整性和统一性。建设长效的主数据管控体系是信息化建设的坚实保障。
任务:
-
根据组织战略规划制定主数据体系的发展战略
-
调查分析企业的目标和发展规划,评价现行主数据的质量、环境和应用状况,找差距,明需求,
-
确定主数据体系建设的战略目标和相关政策。
-
-
制定主数据体系的总体架构,包括数据架构、数据管控体系架构、应用标准和集成标准的设计。
-
制定主数据管理系统实施的资源分配计划
3.2.1 现状调研与需求分析
前期工作。。现状调研展示了用户“现在怎么做”,现状评估与差距分析则解释了“做得怎么样”和“问题出在哪儿”,需求分析明确了“下一步需要怎么做”。
现状调研
-
调查方法:传统方法,适用于各种分析场景
-
资料收集:企业现有的文档资料,收集的资料包括:组织机构、部门职能、岗位职责的说明;业务流程说明,操作规程文件;管理工作标准和人员配置;单位内部管理用的各种单据、报表、报告;历史的系统分析文档。
-
访谈:一对一,多人会议
-
实地考察
-
问卷调查
-
-
需求引导方法:帮助用户理解mdm的能力和效果,引导发现问题,启发原始需求
-
原型法:快速构建原型,提交用户获取反馈
-
JAD联合会议:JAD (Joint Application Development,联合应用开发),相关干系人一起开会,群体智慧
-
观摩法:观摩成熟系统应用,类比思维获取新系统需求
-
-
现状调研的原则
-
自上而下有序开展:自上而下是指组织结构,从高层开始调研,然后逐级向下开始调研
-
程序化的调研过程:安排工作,统一规范处理个人工作内容,工作方法和使用的表格等
-
点面结合的合理分配:有所侧重,以数据为中心,选择数据操作频繁、数据质量要求高、数据治理需求迫切的业务进行重点调研。
-
客观开放的调研态度:存在即合理,实事求是,头脑冷静,思维开放
-
主动友善的工作方式
-
-
现状调研的内容
-
业务现状:组织架构,角色职责,业务流程
-
信息化现状:企业的信息化战略、现有业务信息系统的实施和运行情况、系统功能、系统中数据的存储和共享情况等。
-
功能层次图
-
数据流程图
-
-
现状评估与差距分析
-
根据战略理解与调研结果,结合主数据管理成熟度模型评价方法,行综合评估,分析、总结存在的不足
-
借鉴国内外标杆企业数据治理的经验,发现差距,确定方向
需求分析
-
需求分析内容
-
战略层次:宏观,包括体系建设的目标,原则或方向
-
战术层次具体的,确切的方法、步骤或流程。包括主数据的识别,数据流程的分析,设计流程改进和优化方案
-
-
需求分析方法:建模--业务流程图,数据流图
-
业务流程分析与建模
-
业务流程图是业务流程分析和建模的图示工具。描述系统内各单位、人员之间业务关系、作业顺序和信息流向的图标
-
确定业务过程中每个活动分别需要使用哪些数据,会生成哪些数据,使用哪些业务规则,这些数据可以为后面的数据分析建模提供帮助。
-
-
数据流程分析与建模
-
数据流程图描述数据流动、存储和处理的逻辑关系,也称为逻辑数据流图,简称 DFD(Data Flow Diagram),数据流程图要配合数据字典的说明。
-
组成:系统的外部实体、处理过程、数据存储和系统中的数据流
-
数据字典
-
-
3.2.2 主数据识别分析方法
主数据类型识别分析
依据主数据的特性建立四因素分析标准指标体系,本书将“客户数据”,‘人员数据’称为数据类型
主数据元属性识别分析
多因素分析方法
首先确定需要分析的指标,
确定影响该指标的各因素及与该指标的关系,
计算确定各个因素影响的程度数额,得出分析结果。
3.2.3 主数据体系规划设计
主数据体系规划与架构设计的任务
-
愿景与使命:蓝图,主数据体系建设的使命是为企业确立一个主数据体系建设的基本指导思想、原则、方向
及经营哲学等,它不是具体的战略目标,或者是抽象地存在,不一定表述为文字,但影响管
-
阶段性战略目标:战略目标是指企业在实现其使命过程中所追求的长期结果,是在一些最重要的领域对使命的进一步具体化。
-
发展思路
-
规划目标。
-
核心能力。
3.2.4 主数据体系架构设计
1 主数据管控体系
本质:是为了规范主数据标准、质量、安全中的各类管理任务和活动而建立的组织、流程与工具
目标:提升主数据质量、促进主数据标准一致、保障主数据共享与使用安全。是以主数据标准化为目标,以主数据管理组织建设为保障, 以主数据梳理为前提,以主数据过程控制为手段,实现全面、高效的主数据管控。
管控内容:涵盖组织、流程、绩效、系统四大领域
组织架构:管理组织架构、运营模式、角色与职责规划
第一层:高管级的主数据管理指导委员会:确定管理目标,确定主数据管理的流程、制度、职责,负责重大问题的处理。
第二层:主要参与确定管理目标,确定主数据管理的流程、制度、职责,负责重大问题的处理,负责协调主数据管理的相关资源,负责主数据管理制度的确定和发布。
第三层:业务组的职能为负责各业务组之间的沟通协调,技术支持组的职能为集成方案的讨论和开发。主数据管理平台的日常维护和监督、集成问题的解决、硬件问题解决。
管控流程
-
主数据业务流程:对数据的提报、校验、审核、生成、发布、变更、核销等全过程进行管理,满足企业管理决策的各个管理应用的需求。
-
数据标准管理流程:通过对数据标准的分析、制定、审核、发布、应用与反馈等流程进行设计,保证数据标准的科学有效,持续优化。
-
数据质量管理流程:通过设计数据质量评价的指标体系,实现数据质量的量化考核,对主数据的创建、变更和销毁的业务过程实行质量管控。
-
数据安全管理流程:按照主数据的分级规范和相应的安全保护标准,建设健全安全管理制度、安全技术规范、操作流程、操作规范,设立安全风险评估机制和应急响应机制,并实现安全体系的动态维护机制。
绩效考核体系
主数据绩效评价指标是用来评估及考核主数据相关责任人职责的履行情况、主数据管控标准及政策执行情况的参考。目的是通过定量/定性的考核指标来确保主数据管控标准及政策的切实执行,加强企业对数据管控相关责任、标准与政策执行的掌控能力。
2 主数据标准体系
主数据标淮体系:主数据管理规范、主数据应用标准、主数据集成服务标准
全面提升主数据的质量、实现主数据规范化的前提
主数据管理首要任务:制定统一的标准和规范,开发共用的、标准的主数据定义,并定义企业级的主数据模型。秉承定义、执行、监督检查。
-
分类
-
主数据管理规范类:管理活动的内容、程序和方法,是主数据管理人员的行为规范和准则。
-
主数据应用标准类:主数据编码标准、主数据属性标准,数据模型的标准
-
主数据集成标准:规范系统集成的接口、数据压缩方法、数据加密方法、集成日志应用
-
-
主数据管理规范: 管理条例,章程,和制度
-
规范性:管理规范告诉人们应当做什么,应当如何去做。
-
强制性:管理规范对全体员工都有严格的约束力,任何人不得违反。为此,管理规范要有公开性和权威性。
-
科学性:准确、齐全、统一,不能模棱两可,更不能相互矛盾。
-
相对稳定性:管理规范一经批准,在一定的时期内就要保持稳定,不能朝令夕改,使人无所适从。
-
可行性:管理规范要简明扼要,通俗易懂,对流程运行活动进行明确规定,并要简便易行,便于实际操作和运行。
-
-
主数据应用标准:数据编码标准(数据的分类和编码规则),主数据属性标准(数据属性构成、元数据、参考数据、数据关系等内容)
-
先进性:数据标准应该符合当前的技术标准,适应企业3~5年的发展需要,就是说在3~5年之内具有先进性。
-
可扩展性:数据标准必须具有可扩展性,根据企业的需要对模型进行扩展,支持企业的可持续发展。
-
可靠性:数据标准必须准确可靠,能够保证基于这些数据标准的信息系统的安全可靠运行。
-
全局性:数据标准需要满足各个业务部门不同管理层次的需求,保证企业级的管理视图。
-
合规性:数据标准的制定应该遵循国际标准─国家标准—行业标准—企业标准的原则,参考其他相关技术标准规范,满足相关法律法规的要求。
-
一致性:数据标准在整个企业范围内是完全一致的,不能存在二义性。
-
-
数据标准管理的四步
-
数据集成标准
-
集成服务规范:包括数据接收的传输模式、数据分发和接收采用的技术方法、数据格式,数据交换中间件的运行模式以及各项参数的设置规则。
-
数据压缩方法:包括数据存储和传输时采用的数据压缩方法和标准。
-
数据加密方法:包括接口数据传输时采用的加密技术和规则。
-
集成日志应用规范:包括集成接口的日志服务模式和日志内容。
-
3 主数据质量体系
数据的质量体系主要从数据质量的组织、制度、流程和评价标准等方面,进行高效监控,实时跟踪和反馈机制实现对数据的持续优化。目的:防止无意、故意甚至恶意对主数据进行非授权的访问、浏览、 修改或删除而制定的规范及准则
-
数据质量评估维度
-
精确性:是指数据记录的信息是否存在异常或错误。
-
完整性:是指数据是否完整,描述的数据要素、要素属性及要素关系存在或不存在,主要包括实体缺失、属性缺失、记录缺失以及主外键参照完整性等内容。
-
一致性:是指描述同一实体的同一属性的值在不同的系统中是否一致。
-
有效性:描述数据取值是否在界定的值域范围内,主要包括数据格式、数据类型、值域和相关业务规则的有效性。
-
唯一性:是指数据是否存在重复记录。
-
-
影响数据质量的因素
-
信息因素:产生这部分数据质量问题的原因主要有元数据描述及理解错误、业务规则和校验规则的错误、数据集成和分发的策略不恰当等。
-
技术因素:主要是指由于具体数据处理的各技术环节的异常造成的数据质量问题。
-
流程因素:是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于系统数据的生成流程、审核流程、继承和分发流程、使用流程及维护流程等各环节。
-
管理因素:是指由于人员素质及管理机制方面的原因造成的数据质量问题。如人员培训、人员管理、培训或者奖惩措施不当导致管理缺失或者管理缺陷。
-
-
主数据的改善和管理:主数据质量评估、主数据标准执行、主数据合规性检查、主数据版本管理、主数据质量监控、错误预警等内容;
-
组织的改善和管理: 确立组织数据质量改进目标、评估组织主数据业务流程和主数据管理流程、进行流程优化、制定质量审核和质量监控机制
4主数据安全体系
安全体系包含安全策略、安全组织、安全技术和安全建设与运行四部分。防止无意、故意甚至恶意对主数据进行非授权的访问、浏览、 修改或删除而制定的规范及准则
-
安全策略:建立主数据安全策略框架,制定主数据的分级规范和相应的安全保护标准,制定完善的安全策略、安全管理制度、安全技术规范、操作流程和操作规范,初步形成比较完整的策略体系,并建立策略体系动态维护机制。
-
安全组织:建立企业的主数据安全组织,依据安全岗位的不相容原则,落实岗位职责,建立安全考核机制。配合主数据管理系统的建设和运行,定期开展各类安全教育和技能培训,提高大家对主数据风险管理的认知程度。
-
安全技术:提升和完善身份认证、内容安全、访问控制、集成安全、日志管理和安全恢复等安全技术,通过日志审计和应用审计,逐步形成完善的安全技术体系。
-
安全建设与运行:通过建立常态化的基础数据管理安全审计流程,定期开展主数据管理系统的安全等级保护及系统的安全测评。建立主数据安全事件管理机制,主数据出现异常问题时,制定完善的解决流程及风险应急方案。
3.4.5 主数据管理实施规划
主数据体系建设的策略
-
做好规划:从业务视角切入,考虑要解决的业务问题;先考虑单一数据类型,或者单一某一系统应用中的数据问题
-
定期评估,及时反馈:将主数据管理变为周期性,常态化的工作
-
完善监控体系:确定岗职,制定管控流程,确定关键因素,和关键指标
-
重视构建主数据管理系统
-
积极借助外部专业结构理论
主数据体系建设三个阶段
-
规划设计,工作重点:完成管控组织体系设计、管控流程体系设计,建立管理组织、岗位、人员,落实各级流程和职责分工
-
标准化阶段,工作重点:建立模型、业务标准,主数据标准,建立专业性常态化组织,建立统一编码和标准属性库,对主数据进行清理;
-
系统集成阶段,工作重点:最终建立主数据中心,提供关键基础数据应用,建立定期评估、应用反馈的机制,持续优化。
主数据体系建设五个重点
-
规划:集中统一规划,分步实施、循序渐进,有序、科学、专业、可靠安全。
-
组织:建立明确-组岗责人。
-
标准:主数据标准的规范性、科学性和长期有效性。
-
流程:申报、审批、校验、生成、变更、维护的全生命周期的业务管理流程,实现全面的数据管控。
-
数据:主数据逐步清理,建立标准模板,统一编码,标准属性;建立企业内集中的主数据中心。
补充: 主数据管理的关键技术
信息分类编码技术
1.1 信息编码
信息编码的前提是分类,分开管理,分类要mess,不重不漏
信息编码分为两类:标识码,特征码
-
标识码:当代码与事物对象存在一对一的关系时,代码表示唯一一个事物对象,称为标识码。
-
特征码:当一个代码对应于多个事物对象时,可以认为代码对应于一个事物集合。这个事物集合并不是由若干个事物对象随机组合在一起,而是由具有相同或相似特征的事物组成的,即编码是针对事物特征的,被称为特征码。
-
分类码:代表类目的代码或代表一类事物的代码称为分类码或分类特征码。
-
结构码:结构码用符号来表示事物对象之间的结构关系,表示一个事物对象或一类事务对象在结构中的位置。
-
状态码:在对事物进行管理时,常常需要用编码的形式来记录事物所处的状态。
-
一般取值码:自定义的字典值
-
-
信息编码原则:8原则
-
唯一性原则:一个编码对应一个信息
-
正确性原则:科学,合理
-
分类性原则:同一类信息编码相同或者相近
-
扩展性原则:未来发展
-
统一性原则:所有部门采用统一的编码
-
不可更改性原则:避免重复修改
-
重用性原则:编码包含信息特征,重用以前的知识,经验,成果
-
简单性原则:简单明了,容易识别
信息分类原则:稳定,确定,系统,可扩延,兼容:兼容多个系统,综合使用
1.2 信息分类编码方法
-
信息分类方法
-
线分类法:层级分类法,若干属性将对象主次分为若干层,每个层次又分为若干类目,最终排列成有层,逐级展开的分类体系
-
面分类法:网状结构分类,先依据事物的若干项特征分别在不同分类段中划分类目,然后将所有分类段并置起来进行组合,产生复合类目,形成网状结构的分类体系(身份证编码规则)
-
根据需要选择分类对象本质的属性或寺征作为分类对象的各个“面”,各“面”的正范围。内容都不能超出分类对象所具有的特征范围
-
不同“面”内的类目不能互相交叉,不能重复出现。
-
同一“面”应采用相同的分类依据。
-
如果“面”的顺序一旦确定,在使用时就不得改每个“面”都有严格的固定位置,
-
-
3 数据治理
3.1 数据治理概念
所谓的数据治理就将将混乱的数据处理成高质量有价值的数据,成为资产的一个过程。是对信息化建设的监管,是改革,需要高层,业务,IT协同。涉及范围包括业务系统,数仓等。
主要工作包括:数据标准定义、数据质量管控、数据安全管理、数据架构规划等内容,以及建立包括政策安、组织架构、管理流程、技术支撑等方面在内的数据治理保障体系。
数据治理的目标:有效性,可访问性,高质量,一致性,可审计性和安全性
数据治理意义:完善的数据管控体系,标准化、规范化的数据,提高工作效率,保证数据一致性
IBM:数据治理是根据企业的数据管控政策,利用组织人员、流程和技术的相互协作,使企业能将 “数据成为资产” (data as enterprise asset)来管理和应用。
根据伯森(Berson)和杜波夫(Dubov)的定义1, 数据治理是一个关注于管理信息的质量(Quality)、一致性(Consistency)、可用性 (Usability)、 安全性(Security)和可得性 (Availability)的过程。这个过程与数据的拥有 (Ownership) 和管理职责(Stewardship)紧密相关。数据洽理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程,并最终使企业能将数据作为企业的核心资产来管理和应用。
3.2 数据治理内容
实施数据治理是一项长期的企业管理活动,而且涉及的层面很多。该活动包括五个关键要素:组织结构(关键)、岗位职责、数据治理标准、数据控制和使用、数据管理工具。这五个方面缺一不可,
-
组织结构:组织机构是数据治理的关键。第一步:找到一个权威负责人,协调各部门工作,组建数据治理组织机构一般包括,定义数据治理规章和制度、定义数据治理的组织结构、 立数据治理委员会、建立数据治理工作组、确定数据专责人等内容。
-
岗位职责:负责好自己的工作,相互配合
-
数据治理标准:1. 实现标准化规范化,数据整合前提。包括数据标准的制定和度量标准的制定两个方面。标准随着企业管理和业务需要变化,如果标准变了,涉及到的系统及数据如何处理,也是经历过,挺困难的。
-
数据控制和使用:
-
流程化控制:数据业务,数据技术,数据逻辑
-
合规性控制:符合国际国家法规,满足行业标准,(ps:满足国标)
-
工具化控制:数据管理工具
-
-
数据管理工具
3.3 数据治理重点
数据治理最为基础的一环,必经途径便是主数据管理,主数据的应用与数据质量是相辅相成、相互推动。
企业内的数据可以按照描述对象分为基础数据和业务数据。基础数据描述的是业务实体, 例如客户、供应商、地点、产品和库存等:业务数据描述实体发生的业务流程,例如客户订单、 出库单等,业务数据的实质是多个业务实体之问的关系。
主数据是企业中涉及多个价值链核心业务流程的各个IT 系统的基础数据。基础数据要成为企业的主数据必须满足的条件是该数据产生在一个源业务系统中,但是会在多个其他的业务系统中使用到。
分散管理的主数据由于不具备一致性、准确性和完整性,使得各个企业内部的数据共享受到阻碍,数据资产的价值无法有效开发。 因此需要从企业的多个业务系统中抽取主数据并进行整合,集中进行数据清洗, 并以服务的方式把统一、完整、准确的主数据分发给企业内的操作型应用和分析型应用,包括业务系统、业务流程和决策支持系统等。