【学习总结】企业信息化管理之数据管理发展与探索之路

企业数据管理背景

随着企业信息化不断的扩张，各种信息化软件接连进入企业为企业发展提供了信息化发展的基石。不同软件在对业务数公共基础数据管理上缺乏管理意识造成各类数据管理混乱、不及时等问题。为了解决不同系统，不同架构系统的公共数据的管理、归集、分发与应用提出里主数据管理方案。

企业数据发展路径

基于主数据管理的Jill Dyche, Evan Levy六层次模型与企业信息化发展现在理解。

Level 0 ：无任何实施管理主数据

此阶段企业中个各类数据散落在所有应用系统中，即使数据存在联系也无法直观的看到此类数据存在的联系。每个应用独立维护自己的使用数据系统之间不会建立任何联系。

Level 1 ：制度性主数据管理

在此阶段的企业已经发现各系统之间已经存在某种关联，通过在信息化建设过程中建立编码组，统一数据维护组织等制度来建立数据一致性，通过人工的方式在不同的应用系统中手工维护基础数据，存在大量的失误仍然难以保证数据更新的时效性，与正确性。在该阶段的企业通常会建立编码组织由该组织来完成基础数据维护，无论接入何种应用软件，该组织都需要参与基础数据建设与管理。

Level 2 ：对等访问

在阶段的的企业已经逐步通过技术访问试图通过统一的数据维护渠道来解决数据多次维护，降低减少数据维护的工作量及保证数据一致性降低错误发生率。主要表现在于数据在一个系统维护通过建立接口调用的模式实现对数据的收集与分发处理。但是由于不同软件对于数据构成要素上存在管理差异，仍然难以解决数据完整性的的问题。

Level 3 ：集中总线处理

在此阶段开始企业逐步的将主数据管理纳入了企业信息化项目实施管理中，通过建立主数据管理系统（MDM）来为企业搭建一套数据管理系统。在此阶段企业会搭建出自己的线程总线（HUB）用集成系统之间的数据，所有系统都需要将自己基础数据维护权限交由MDM系统来实现数据分发与应用，通过集中、标准化的策略与手段解决了异构系统的数据统一性，极大程度上释放了企业对基础数据维护管理工作上的人工作业成本。但是由于各系统对公共基础数据的描述与定义存在差异，数据任然存在差异通过分发后的数据，仍然需要进行人工调整。从物理存储的角度上来看此阶段的数据任然存在着明显数据分界，无论是存储上还是应用上，只是简单集成了数据的共性，让数据的共识在各系统中流转。

Level 4 ：业务规则和政策支持

在此阶段的数据数据管理上通过制定数据检验规则来制定数据准入、维护的标准。通过数据管理平台来满足多源数据使用上一致性，将数据描述达到统一共识。要求各系统厂商满足你符合你接入，不符合你改造。这必然要求就造就了全部应用集成产品对统一数据描述上必须一致，无疑让落地更加困难，不是应用软件的退步就是主数据管理的兼容，总之必须要达到百分之百的共识。

Level 5 ：企业数据集中

在这个阶段的企业数据管理可以说是完全摆脱了数据的边界，对于基础数据的维护将由主数据系统进行维护与定义，其他应用将只是参照数据，无法对数据进行任何的规定与修改。在这个应用场景下所有应用的相同数据将被视为同一个实体，不在存在任何差异。

相关定义(以下内容网络摘录)

1、数据元

1.1 标准定义

[GB/T 18391.1－2002，定义3.14] ，用一组属性描述定义、标识、表示和允许值的数据单元，数据元由三部分组成：对象、特性、表示。

1.2 我的理解

数据元是组成实体数据的最小单元，或称原子数据，例如，客户联系方式中的手机号码，手机号为数据元，135****为数据元的值。

1.3 主要作用

数据元本身就是数据，一般用来对各行业的数据进行自身规范化的一个方法或一套指导的理论，规划好行业数据元之后，可以为行业构建出统一、集成的、稳定的数据模型奠定基础。

1.4 应用范围

数据元早期在金融、医疗等应用非常广泛，国家相关单位也出具了对于数据元管理的一系列技术标准和行业标准，例如：GB/T 18391.1 信息技术 数据元的规范和标准化；CFDAB-T-0301.1-2014 食品药品监管信息基础数据元……

1.5 应用举例

CFDAB-T-0301.3-2014（食品药品监管信息基础数据元 第3部分：药品），举例：

2、元数据

2.1 标准定义

Mate data，描述数据的数据或关于数据的结构化数据。

2.2 我的理解

元数据是用来描述数据的数据，让数据更容易理解、查找、管理和使用。举个栗子“村里有个姑娘叫小芳，长得好看又善良”这首耳熟能详的歌，我们分析一下，姓名：小芳、性别：姑娘（女）、长相：好看、性格：善良，住址：村里。这里面：小芳是被描述的对象也就是我们所谓的实体数据，而姓名、性别、长相、性格、住址就是描述小芳这个人的元数据。当然元数据也会被描述，例如上边我举的例子中姓名的字段长度，字段编码、定义、字段类型、默认值等是用来“姓名”这个数据元的。所以还有个元模型的概念，这里不再展开，有兴趣的同学可以在网上查下，MOF、CWM这两个关于元模型的标准就明白了。

2.3 主要作用

元数据是帮助查找、存取、使用和管理信息资源的信息。

2.4 应用范围

元数据是业界公认的数据管理中的核心要素，做好元数据管理，更容易的对数据进行检索、定位、管理、评估。用哲学的思维理解元数据的话，元数据其实解决的是：我是谁，我在哪里，我从哪里来，我要到哪里去的问题。元数据是建设数仓的基础，是构建企业数据资源全景视图的基础，清晰的血缘分析、影响分析、差异分析、关联分析、指标一致性分析等，是数据资产管理的重要一环。后边有机会的话我会分享一下元数据管理，这里就不再展开了。

2.5 应用举例

数据是物料，而元数据是仓库里的物料卡片；
数据是文件夹，而元数据是夹子的标签；
数据是书，元数据是图书馆中的图书卡。

3、主数据

3.1 标准定义

主数据（Master Data）指系统间共享数据（例如，客户、供应商、账户和组织部门相关数据）。与记录业务活动，波动较大的交易数据相比，主数据（也称基准数据）变化缓慢。主数据必须存在并加以正确维护，才能保证交易系统的参照完整性。——这个是百度百科的定义。

3.2 我的理解

最早接触主数据的概念大概是19年左右。个人对主数据的理解可以用六个字概况“三大特性，四个超越“。三大特性也是主数据的主要特征，即高价值性、高共享性、相对稳定性。四个超越：即超越业务，超越部门、超越系统、超越技术。请参考《主数据的3个特点、4个超越和3个二八原则》

3.3 主要作用

主数据是组织的最关键、最核心的数据，重点用来解决异构系统之间关键数据的不一致、不正确、不完整等问题。主数据是信息系统建设和大数据分析的基础，被认为是企业数字化转型的基石。

3.4 应用范围

个人认为广义上的主数据，在不同行业、不同领域都会有不同的定义。例如在制造型企业中的核心主数据有：物料、BOM、、设备、客户、供应商、人员等；金融行业中客户、客户关系是其主数据管理的核心；在政府各部门，人口、法人、证照等是其主要的主数据。……

3.5 应用举例

关于主数据与主数据管理，之后进行专题分享，敬请关注。
预告：主数据专题分享会对主数据的3大特性4个超越，以及主数据管理中的3个2/8原则进行详细阐述。

4、基础数据

4.1 标准定义

暂无

4.2 我的理解

对于基础数据，业界还没有给出一个标准的定义。但在很多信息化项目中，基础数据这个概念都会被提及和使用。同时，常常会有客户对基础数据和主数据概念混淆。我理解的基础数据是IT领域的术语是伴随信息化系统建设产生的。基础数据是信息系统运行的基础，用来支撑信息系统运行的各种参数。而主数据是被多个系统共享的基础数据。所以，我理解的主数据可以是基础数据的一部分，但基础数据绝对不等于主数据。

4.3 主要作用

基础数据是支撑信息系统运行的各种数据和参数。

4.4 应用范围

各类信息化系统的建设都离不开基础数据的准备，基础数据质量的好坏，是影响信息化系统建设成败的关键因素。

4.5 应用举例

例如，建设一个MES（制造执行系统）需要准备的基础数据包括：组织、部门、班组、班次、人员、岗位、机台、设备、物料、仓库、客商、工艺规程、BOM、工作中心、工作日历、仪器仪表、位置、测量点、检验参数、检验项目……

5、业务数据

5.1 标准定义

业务数据是业务处理过程中或事物处理所产生的数据，也称交易数据。交易数据是面向应用的操作型数据，有很高响应及时性要求。

5.2 我的理解

业务数据来这三个方面，一是：业务交易过程中产生的数据，例如：计划单、销售单、生产单、采购单等，这部分数据多数人为产生。二是，系统产生的数据，包括，硬件运行状况、软件运行状况、资源消耗状况、应用使用状况、接口调用状况、服务健康状况等。三是，自动化设备所产生的数据，IOT物联网的各类设备运行数据、生产采集数据等等。不论来源何处，这里数据有一个共同的特点就是时效性强，数据量大。

5.3 主要作用

业务数据主要面向应用，为业务应用提供服务，例如：生产、销售、采购、设备管理、系统管理等。

5.4 应用举例

某企业的产品销售记录：

6、主题数据

6.1 标准定义

将信息经过过滤识别出来，再从全局出发，根据管理需求信息按照不同的分类定义出不同的主题库，主题数据是为了面向主题的分析或加速主题应用的开发。

6.2 我的理解

主题数据顾名思义就是面向主题的数据。从这个特点上我们很容易想到有一类数据就是面向主题的数据，那就是数据仓库。与操作型数据不同，主题数据是分析型数据，是按照一定的主题域进行组织，服务于决策时所关心的重点方面。一个主题数据，可以是由多个主数据+交易数据组成。主题分析数据一般汇总的、不可更新的，是用于读的数据。

6.3 主要作用

主题分析数据或数据仓库，按照一定的业务主题域进行组织，服务于各种的数据分析或主题应用的开发。

6.4 应用范围

主题数据与行业或领域有较大的关系，不同的行业关注的主题是不一样的。即使同一行业，不同企业也有不同的主题数据定义。

6.5 应用举例

例如，某生产制造企业定义了12大主题数据，包括：综合服务、人力资源、财务管理、质量管理、生产管理、工艺管理、库存管理、销售管理、采购管理、设备管理、能源管理、安全环保。

7、数据资源目录

7.1 标准定义

目录服务将有关现实世界中的事物（如人、企业、计算机等等）的信息存储为具有描述性属性的对象。人们可以使用该服务按名称查找对象或者像使用黄页一样，可使用它们查找服务。这个定义解释了目录服务，所以数据资源目录，是对数据存储对象的描述，让人们能够方便、快速的找到所需要的数据。

7.2 我的理解

我所接触的数据资源目录的概念，源自于政务。早在02年左右国家相关部门就制定了政务资源管理的相关规范和标准。请参考：GB/T 7027-2002 信息分类编码的基本原则和方法；GB/T 21063-2007 政务信息资源目录体系。政务数据资源目录是通过对政务信息资源依据规范的元数据描述，按照一定的分类方法进行排序和编码的一组信息,用以描述各个政务信息资源的特征，以便于对政务信息资源的检索、定位与获取。

7.3 主要作用

政务信息资源目录是实现政务信息资源共享、业务协同和数据开放的基础，是各政务部门之间信息共享及政务数据向社会开放的依据。

7.4 应用范围

目前数据资源目录系统的应用在各个政府部门、事业单位已经非常普遍，尤其是在国家大数据战略布局的背景下，各个地方政府也在积极通过数字化的手段，整合各类信息资源，并在不同的委办局进行共享，目的是“让数据多跑路，让百姓少跑腿”！政务信息资源目录编制工作包括对政务信息资源的分类、元数据描述、代码规划和目录编制，以及相关工作的组织、流程、要求等方面的内容。

7.5 应用举例

你们是不是觉得数据资源目录管理，其实就是主数据管理+元数据管理，反正我是这么认为的。只不过是管理的对象，数据的来源不一样罢了。本质上都是实现数据的查询、定位、使用和数据的交换共享。

8、大数据

8.1 标准定义

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的4V特点：Volume（大量）、Velocity（快速）、Variety（多样）、Value（低价值密度）。

8.2 我的理解

大数据已经火了很久了。说起大数据，理论派（学术派）会说4V或5V，会讲啤酒和尿布、奥巴马竞选、流感预测……；技术流会说Hadoop、Spark，会用Java、R、Python……。所以我们不用去纠结什么是大数据，凡是你用到的、看到的、想到的，都可纳入大数据。我对大数据的理解是通过运用新技术对大量数据进行加工和处理，在某一特定业务领域，或某一环节、或某一点上产生价值，进而推动管理创新、技术创新和商业创新。目前大数据理论和技术都已经相对成熟，已经有了多个细分领域，如：算法研究、分析挖掘、数据治理、大数据运维、大数据开发等等。

8.3 主要作用

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。这个观点来自百科，本人非常认同。

8.4 应用范围

各行各业各领域均在准备或正在使用大数据技术尝试业务、技术或管理上的创新。需要详细了解的请找“度娘”。

9、数据湖

9.1 标准定义

数据湖Data lake，维基百科的定义：数据湖是一种在系统或存储库中以自然格式存储数据的方法，它有助于以各种模式和结构形式配置数据，通常是对象块或文件。数据湖的主要思想是对企业中的所有数据进行统一存储，从原始数据（这意味着源系统数据的精确副本）转换为用于报告、可视化、分析和机器学习等各种任务的转换数据。湖中的数据包括结构化数据从关系数据库（行和列），半结构化数据（CSV、XML、JSON的日志），非结构化数据（电子邮件，文档，PDF）和二进制数据（图像、音频、视频）从而形成一个集中式数据存储容纳所有形式的数据。

9.2 我的理解

Data lake，第一次接触这个概念，是在2014年IBM组织的数据治理交流论坛上。当时认为数据湖就是一个概念，没什么新意。后来一些主流大数据厂商、云计算厂商都在推一个叫数据湖的技术，据说可以实现把不同结构的数据统一存储，我在想这不就是Hadoop干的活吗，本质上还是换汤不换药，还是概念上的。后来随着数据湖技术的不断发展，他可以更方便、更廉价的解决不同数据结构的统一存储问题。对于这个名词我更进一步认识到他应该是一种架构或者说是一个解决方案。

9.3 主要作用

利用大数据技术把不同来源、不同结构的数据统一存储，对支持对数据的快速加工和分析。
由于未成实践过，所以对其作用的真正认识还停留在概念，请见谅。

9.4 应用范围

基于云平台的大数据架构，更适合使用数据湖的技术。

9.5 应用举例

亚马逊的AWS数据湖解决方案，阿里、华为等公司也推出了数据湖，有兴趣的请百度。

【本节版权说明 】
版权声明：本文为CSDN博主「谈数据」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/kuangfeng88588/article/details/89341227

企业发展现状与实施难点

多数企业现在处于Level 2阶段通过引入MDM探索Level 3阶段，在迈向这个阶段的企业更多的较为简单，会依靠软件厂商来实现主数据维护与分发，在进入此阶段后需要进行专业咨询通过对企业已集成的系统进行全部梳理，对主数据定义进行详细建模抽离出共性数据元。将无法统一的描述性数据元仍然交由业务系统自行维护。

但是当企业从Level 3到Level 4以及Level 5阶段，就需要企业投入更多的开发支撑，在现有的软件交付模式下这两个阶段的落地与实施，更多的是要打破应用原有的管理架构将MDM的管理策略衔接进入应用系统，无论是对企业来说还是对于厂商来说都需要投入开发支持，无论是交付阶段还是运维阶段，开发资源的支撑无疑是该阶段最大的障碍，此阶段目前也只有少数重点行业能够实现或者是开发能力较强的大型自主应用软件能够实现。

对于厂商、企业与高校来说如果要想要实现Level 3到Level 4或Level 5的突破就需要共同努力建立长久合作体系保障充足的资源支撑，需要对来发资源的进行储备以及专项培养。