编 辑:老彭
来 源:大数据架构师
彭友们好,我是老彭。前两天老彭分享了一篇文章“不就是表、字段么,怎么又叫数据结构、元数据、数据标准?”。为的就是给同事解释它们之间的区别与联系。
同事看完之后,觉得豁然开朗,没想到这些分散在DCMM里各个域的概念其实都是有关系的。他表示十分感动,然后向我提出了一个要求:内容太少,不解渴,有没有图文并茂的,内容更丰富的?
数据模型与元数据
上文详细展开了数据模型和元数据,并进行了详细的解释。企业业务需求通过概念模型、逻辑模型、物理模型完成企业数据模型的构建工作。
数据模型是物理层面的概念,而元数据等信息本质上是逻辑层面的概念,所以元数据信息需要通过数据模型体现出元数据的相关内容,而数据模型需要元数据的内容搭建企业业务需求的模型。
来自于《企业级数据架构》
数据模型与元数据的关系如上图所示。从建模的角度上来说,数据模型中会用到各种元数据,元数据支持了数据模型的设计和建设。
数据标准与数据模型
数据标准是通过构建企业业务标准以及技术标准来规范企业业务流程以及数据处理流程的。
数据标准的建立可以规范企业内部数据,提高数据使用效率以及减少额外的数据开发工作量等。
业务标准主要作用于企业的业务元数据,业务数据标准可以规范企业的业务流程以及口径等;技术数据标准可以完善或者修订技术元数据的相关信息,规范企业数据编码等内容。
来自于《企业级数据架构》
把元数据提升一下,标准化之后,就是数据标准。反过来,数据标准也能对元数据进行补充和规范。
数据标准同样也能对数据模型进行规范和完善,进一步让企业级数据模型不断规范化。它们之间的关系如上图所示。
数据质量与数据标准、数据模型和元数据
老彭不止一次地强调过,没有数据标准就没有数据质量。以广义的范畴来看,一切能够提升数据质量的制度或者方法都可以隶属于数据质量管理范畴。所以可以看到很多文献都将数据标准作为数据质量管理的一部分。
在企业数据治理体系中数据标准也被当做数据质量的一部分而被提出。但是数据质量并不仅仅包含数据标准这一项内容,也包数据安全等内容,用于保证企业数据质量,而企业数据的载体便是企业的数据模型。
来自于《企业级数据架构》
上面这张图虽然不够严谨,但是非常形象地把数据质量、数据标准、数据模型和元数据的关系展示出来了,非常便于大家理解。
在DCMM中,数据质量和数据标准是单独的两个域,相互的关系非常紧密。数据模型和元数据同属于数据架构域下,是相互支撑的关系。而数据架构与数据标准、数据质量相互支撑,成为企业级数据架构的核心内容。
在DMBOK里就更紧密了。这时候可以请出来艾肯金字塔对照着看一下:
来自于《DAMA-DMBOK2.0》
你看看DMBOK2.0里,数据建模和设计、元数据、数据质量之间的位置非常紧密,可见关系非同一般。
题外话:DMBOK里没有数据标准,可以参考老彭写的“相比DCMM,DMBOK为什么没有数据标准?”。
DMBOK是这么说的:“
第1阶段:组织购买包含数据库功能的应用程序。这意味着组织以此作为数据建模、设计、数据存储和数据安全的起点(例如,让一些人进来,让其他人出去)。要使系统在其数据环境中运行,还需要做数据集成和交互操作方面的工作。
第2阶段:一旦组织开始使用应用程序,他们将面临数据质量方面的挑战,但获得更高质量的数据取决于可靠的元数据和一致的数据架构,它们说明了来自不同系统的数据是如何协同工作的。
”
你看,是不是这么个道理?
总结
企业级数据架构的建设,第一步是做好数据建模与设计工作,成果就是数据模型。其中就会涉及到元数据,标准化之后就成为数据标准。高质量的数据来自于数据质量的良好管控, 其根本来自于可靠的元数据和一致的数据架构,以及规范的数据标准。
以上部分内容来自于李杨大佬的《企业级数据架构》,经出版社授权发布,老彭重新整理。李杨大佬的书非常系统,强烈建议大家购买。
另外,老彭找出版社要了两本书,送给老彭友。名额有限,一本送给首评,一本送给最佳评论
更多精彩:
排版 | 老彭
审校 | 老彭 主编 | 老彭