经过这些年的发展,国内外厂商在元数据管理能力的建设上有了一定的经验积累,此篇文章分析了国内外市场现状,指出企业级元数据管理正吸引着越来越多的厂商关注,有望成为未来元数据管理的主流方向,提出了企业级元数据管理需要具备的基本能力,并在最后简要分析了未来企业级元数据管理体系架构的技术趋势。
1. 企业级元数据管理将成为
企业信息管理的核心
国内外对企业级元数据管理的需求日益增加
仔细分析国内外现状,目前市场上对企业级元数据管理的需求正日益增加:
1、数字化加速,企业内数据量成倍增长
数字化时代到来,许多复杂多变的信息能转变成可以度量的数据,引入到计算机内部进行统一处理,相关研究表明,每年企业收集和使用的数据都会成倍增长,有效管理这些海量数据需要企业级元数据管理。
2、大数据相关技术的出现,让企业看到了新机遇
大数据相关技术让企业数据的价值能被充分挖掘,但是大数据往往意味着许多数据源之间的采集、传播和共享,例如移动个人数据、社交网络数据、公共数据、物联网数据等,这些过程需要企业级元数据管理的支撑。
3、企业对数据治理的需求增加
现如今企业都在关注大数据该如何用,但大数据应用的前提是有高质量的数据,现在很多企业内部数据形态多样,标准不统一,大数据应用往往得从数据治理着手,企业级元数据管理作为企业数据治理的重要手段,必然会受到国内外企业的关注。
企业级元数据管理将成为企业信息管理的核心
2011年8月,Gartner提出了基于企业级元数据管理的信息能力框架(ICF),该框架完全独立于使用实例和信息源,不依赖于技术和架构,同时又能考虑到了使用实例的具体细节,解决了之前企业需要根据具体项目、应用和信息类型而开发特定信息管理能力的弊端,避免了由企业信息之间的分裂和脱节引起的不能支持新信息类型问题的出现,逐渐成为企业构建现代信息框架的指导方针,下图是Gartner信息能力框架的详细表示:
该框架列举了企业在信息管理过程中所需要具备的基本能力,如图所示,图的顶部从左到右列举了六种信息能力,从上到下给出了六种不同的语义风格,黑色的箭头表示每种语义风格对不同能力的要求。
注:图引自Gartner分析报告
Gartner信息能力框架以企业级元数据管理能力为核心,如上图所示,图中的六个基本能力都是基于企业信息资产的元数据来实现的,简单地说,元数据管理是连接ICF中信息资产、能力与具体使用实例之间的桥梁,没有有效的元数据管理策略,信息能力框架(ICF)将不能为企业资产管理提供理想的回报,企业定位和利用信息的能力将会被扼杀。
2. 企业级元数据管理所需要
具备的基本能力
要实现企业级元数据管理,需要具备以下几个方面的能力:
1、元数据存储库——信息管理者用其来定义和管理元数据,以方便利用元数据进行分析,他们也可以利用此库来发布关于可重复使用资产的信息,让用户能在生命周期活动中(例如设计、测试和版本管理等)浏览元数据。
2、业务术语——用来管理企业业务术语以及这些术语之间关系的库。
3、数据血统——分析数据的起源和数据随着时间的流向,描述多个过程中数据发生了什么,数据血统还可以帮助企业分析信息的使用细节,对关键信息进行跟踪。
4、影响分析——描述了信息之间依赖性的细节,分析一个数据源发生变化时带来的影响。
5、符合MOF规范——MOF规范位于模型体系最底层,是所有模型体系规范的基础,UML,CWM都是由MOF扩展而来,元数据围绕MOF设计和扩展,不用修改元数据管理核心部分,就可以适应元数据种类的不断扩展。
6、语义框架——包括对分类的支持,实体关系(ER)模型、本体和模型语言,例如RDF、OWL和UML。
7、元数据获取和翻译——使用多种技术作为桥梁,来应对不同的数据源。
以上所提到的几个能力,是企业级元数据管理的基础,但是要想真正实现企业级元数据的集成,只靠这能力是不够的,企业必须不断地提升自己的技术实力,在这些能力的基础上达到更高的要求。
3. 未来企业级元数据管理
体系架构的技术趋势
市场上对企业级元数据管理(EMM)的需求还在不断增长,伴随着EMM需求的增加,厂商们对数据模型和元数据管理互操作性的标准的关注会明显增加,通过弥合信息竖井来提升信息化业务成果价值的方法会广受关注,新兴的包含元数据联合/共享在内的企业级元数据管理体系架构,将在以下几个方面取得重要突破:
1、能够处理多种数据类型,在数据被加载时,就能够获取和补充元数据,大数据环境下,企业需要应对多种类型的海量数据,这种能力对企业“数据湖泊”的形成是至关重要的。
2、通过各行业专家使用数据的方法定义出众包元数据,并将这些元数据与机器学习结合起来,在一个协同的数据环境中及时更新对各行业数据的认知。
3、支持复杂的多厂商环境,能提供端到端的数据血统分析能力,通过一个已经存在的工具集(和元数据库)可视化展现出全部数据血统,使用及时准确的数据,充分展现整个数据地图,从而帮助企业更好地开展治理相关活动。
4、将语义建模与非模型化的灵活性相结合,使用图形化的表示方法,帮助企业更高效地建立一个全面精确的业务领域模型。
本文摘自:《Market Guide for Metadata Management Solutions》、《Introduction to Gartner's Information Capabilities Framework》,《Defining the Scope of Metadata Management for the Information Capabilities Framework》
本文编者:
王轩
EAII-企业架构创新研究院 专家委员
现任普元软件产品部副总兼大数据产品线总经理,2010年加入普元,全面主持普元大数据产品的研发、拓展及团队管理工作。十年大型企业信息化架构设计与建设经验,曾任中国人民银行核心平台架构师。主持参与了国家开发银行大数据项目、中国人民银行软件开发平台、国家电网云计算平台等大型项目建设。王轩对大数据行业有着深入的研究和洞察,并对企业信息化平台建设,企业云计算及大数据平台建设有着丰富经验。
关于EAII
EAII(Enterprise Architecture Innovation Institute)企业架构创新研究院,致力于软件架构创新与实践,加速企业数字化转型。
eaworld项目(微信号:eaworld,长按二维码关注)
eaworld是EAII的官方微信账号。
本文编者将亮相“企业数字化变革中的技术与架构创新”为主题的PWorld 2016大会!来自普元、红领集团、蓝月亮实业、星环科技的20余位技术大咖、近30场技术分享与你共议企业数字化未来!大会将在8月26日北京、9月6日上海、9月20日广州三地举办,感兴趣的可以扫二维码了解活动报名参与,欲了解详情请戳:阅读全文。