微服务架构下的数据治理

本文为普元云计算架构设计群的微课堂原创分享,转载本文需注明出处:EAII企业架构创新研究院,违者必究。如需加入微信群参与微课堂、架构设计与讨论直播请直接回复此公众号:“加群 姓名 公司 职位 微信号”。


大家好:

今天我带来的题目是微服务架构下的数据治理。


0?wx_fmt=jpeg


之前在群(注:普元云架构设计群)中分享过“微服务与元数据”的概念(注:详见【超详解PPT】元数据驱动的微服务架构(上)【超详解PPT】元数据驱动的微服务架构(下),本次再来扩大一下咱们的视野,看一下数据治理议题。

 

大家看到这个题目的名字就知道,今天的分享主题是数据领域应用的方向,是一个全行业的数据领域问题,不再聚焦于一个产品或一个技术的应用。


0?wx_fmt=jpeg


今天分享的议题包括三个:


1.微服务架构需要高质量的数据

   2.如何做好微服务下的数据治理    

3.各行各业数据治理的最佳实践


0?wx_fmt=jpeg


咱们先看第一个部分:“微服务架构需要高质量数据”。


之前咱们讲过很多微服务架构,然而大数据微服务的架构现阶段肯定是需要有大量数据支撑,现阶段很多是建立的大数据的平台上,大数据就需要有高质量的数据。


EMC在大数据时代提出“数据湖”的概念就很形象,大数据时代没有高质量的数据,湖泊就会变成数字沼泽,深陷其中,有再多的数据也难发挥价值。


那么如何让企业的大数据“湖水”保持清澈,我们就需要做大数据的数据的治理。


0?wx_fmt=jpeg

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
普元大数据治理提高数据质量 作者:赵明 来源:《中国计算机报》2016年第27期 在数字化转型过程中,大数据的作用是什么?虽然很多人都看好大数据产业的 发展,但是到底什么样的数据能发挥价值,帮助企业快速发展,这才是数据真正的意义 。在大数据时代,数据已经成为某种意义上的战略资源。大数据的广泛应用,可以使生 产型企业进一步提升生产率,使企业资产增值。 数据是企业的核心资产,使用数据的能力决定了企业的竞争力,数据驱动企业 发展,数据是估值企业的关键指标。很多企业在数字化转型过程中需要大数据为它提供 精准的分析结果。那么,如何才能提供精准的结果?首先最基本的要求就是数据质量要 高。普元信息软件产品部副总经理、大数据产品线总经理王轩认为:"企业数字化转型需 要以高质量的数据作为基础。企业有了高质量的数据,就能够加速它的数字化转型的过 程。" 在数字化转型过程中,很多传统行业希望把出售数据作为其利润增长点。但是 如果想把数据当作商品出售,那么至少需要这个数据是有质量保障的。但目前情况下, 这些数据有非常多的问题。虽然很多企业经过了这么多年的IT建设,但数据模型并不统 一,没有统一的数据标准,也没有数据质量的检测体系。没有统一的标准,就没有质量 控制的能力,高质量的数据就无从谈起。王轩示:"一些企业已经意识到在数据资产化 之前,第一步应该先进行数据治理。只有数据质量提高了,才能实现数据资产化。" 数据治理的本质是什么?数据治理的本质就是使数据和服务更加紧密地结合, 实现数据的内在价值,为企业提供新的利润增长点。但在数据治理过程中,企业中每个 业务部门都认为它的数据是正确的,但从宏观角度来看,业务部门之间的数据是不一致 的,这其实就是数据质量问题。 确保数据质量 在做数据分析时,如果应用错误的数据做分析,那么不论分析的方法精准与否 ,分析的速度多快,都无法得出正确结果。因此,首先要确保数据质量。要想确保数据 质量就要做数据治理,而做数据治理,并非一次性的工作。 "它绝对不是一个毕其功于一役的事,它需要一个长期的过程,也需要很好的平 台。"王轩认为,"很多项目分析结果出来以后,项目是失败的,主要原因是分析的结果 都是错的。没法保证分析结果是对的。我们需要用大数据治理支撑整个上层用户。真正 的大数据治理,尤其是大企业做数据治理,它是一个全过程和全方位的事情。"数据治理 需要有一个很好的技术平台,但仅仅依靠技术平台是不够的。在技术平台之外,需要有 一系列与业务相关的协作,包括数据标准、数据质量等一系列工作要完善,共同完成大 数据治理任务。 当企业意识到数据有问题时,通常分析结果已经出错,然后才去检查数据,进 行数据治理,这事实上已经是亡羊补牢的做法。因此,要防患于未然,在数据采集、数 据交换等每一个环节都做数据治理。而数据治理还需要针对不同行业特点,比如,金融 、电信和能源等行业的数据信息标准就不同,不可一概而论,需要建立不同行业的数据 标准。 数据标准化是企业信息化建设最根本、最基础的工作,数据标准化工作做得好 ,会为后续的BI、大数据分析打下坚实的基础。但数据标准化工作是个费力不讨好、非 常不容易开展的工作,越来越多的企业在数据标准化的过程中发现了企业管理上的诸多 问题,甚至影响到了企业利益,那么企业应该如何开展数据标准化相关工作? 普元信息大数据产品部资深架构师袁锋涛认为:"数据标准是增强企业各部门对 业务统一理解的手段,是企业在开发应用系统时对数据进行定义的依据。数据标准化是 面向企业顶端的,是伴随企业体系化建设的长久之路。" 数据标准体系完善的过程,是通过各种手段、方式、渠道,建立数据标准体系 的过程。在此过程中企业应以元数据管理为基础,推动数据标准在各应用系统中的执行 ,逐步形成常态化的、闭环的标准体系应用机制,从整体上提升企业的数据质量和数据 管理水平,为实现企业数据流的畅通和全系统信息资源的共享奠定基础。 只有数据标准逐步完善,才有可能进行准确的数据治理,对大数据实施全过程 、全方位的管理。很多人在做数据治理的时候,往往只集中在数据应用环节,范围过窄 。在整个过程中,要从数据应用、数据传输、数据存储等环节全面去做数据治理,在每 一个环节都需要控制数据的标准和质量。 如何判定数据是否存在价值 世界上没有废物,只是没放对地方。这是很多环保人士市场挂在嘴边的一句话 。而数据,也可以套用这种思维方式。 所谓无用的数据,某些是在处理中发现确实数据有错误,需要治理,但也有一 些数据看似与以前或者当下业务无关的数据。但这类数据未必对未来业务没有帮助,或 许有其他价值,那么普元是如何区分和处理这些数据的呢? 王轩示:"首先数据都是有价值的,但是企业的核心的数据一定要是准确的, 外围的数据可以暂时搁置一边。普元目前提出的数据标准是相对狭义的,我

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值