专访焦烈焱:普元如何做好数字化时代的大数据治理

2016年12月8日-10日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、中科天玑数据科技股份有限公司与CSDN共同协办的2016中国大数据技术大会(Big Data Technology Conference 2016,BDTC 2016)在北京新云南皇冠假日酒店成功举办。

普元是国内领先的软件基础平台与解决方案提供商,主要面向大中型企业、政府机构及软件开发商提供SOA、大数据、云计算三大领域的软件基础平台及解决方案,帮助组织业务向互联网、移动互联网转型。在本次大会上,普元信息CTO焦烈焱发表了题为“数字化转型中的大数据治理架构”的演讲。大数据治理需要多重技术和工具提供支持,才能更好地发挥数据价值。传统的大数据治理更多专注于结构化等数据,然而现在企业会面临越来越多的非结构化数据。该怎么去治理?这是未来大数据治理需要直面的很大难题。

图片描述
普元信息CTO 焦烈焱

焦烈焱,2003年加入普元信息,现任CTO,全面负责普元信息技术与产品的运营工作,公司技术发展战略的重要决策人。焦烈焱在企业技术架构研究方面有二十余年的经验,长期致力于分布式环境的企业计算、SOA与云计算技术研究与实践。加入普元信息后组织完成一系列核心产品的研发工作,包括SOA应用平台、以BPM&/ESB为核心的业务集成平台、以复杂事件处理、数据治理、作业调度为核心的大数据平台,期间主持了中国工商银行、中国建设银行等多家大型企业技术平台的规划与研发。著有《SOA中国路线图—实施版》一书。

以下为采访实录

CSDN:作为国内领先的软件基础平台与解决方案提供商,普元SOA、大数据、云计算三大领域软件基础平台及解决方案均走在了行业前列。能否为我们介绍下普元在大数据方面的战略布局和最新规划?

焦烈焱:普元之前并不做SOA系列的产品,但随着云和大数据技术的到来,我们认为现在是新技术架构升级的时代。实际上在云和大数据时代,它还需要一个类似SOA的中间件,服务于过去的云架构和数据架构。普元在大数据这块不会做我们不擅长的大数据应用或数据挖掘分析,也不会做数据库、数据存储领域,而是专注于做好数据处理、数据管理以及数据治理。现在的数据越来越多:

  • 有更多的结构化、非结构化数据,比如视频、音频等数据;
  • 物联网、传感器带来了很多以前采集不到的数据;
  • 现在的IT系统接触的客户行为越来越多;
  • 内部精细化管理时,要求的数据比以前多很多。

在数据越来越多的情况下,如何把它管理好并加以应用、让数据产生创新是我们专注解决的难题。

CSDN:大数据越来越热,请问您怎么看待目前的大数据环境?企业应如何抓住市场契机来发展自身?

焦烈焱:大数据从两方面来看:一方面,我认为大数据更多的是一个IT发展、IT建设思路。在有了大数据后,我们更多地是以数据驱动方式来为IT业务服务,企业的契机就是怎么用好这样的思维来做事情。另一方面,在学术界大家认为用以前常规手段处理不了的数据才叫大数据,这是一个学术界的定义。在这两个方向上我更偏向于前者,不用管现在的数据是否处理得了,充分发挥处理作用才是大数据的本质。

CSDN:近日,普元在第二届两化融合创新高峰论坛上成功捧获“企业数字化最佳转型解决方案”大奖,贵公司优质的解决方案和实践经验也备受认可。可否介绍一些普元深度参与的企业数字化转型案例?

焦烈焱:普元的客户多为传统型企业,尤其是传统大型、特大型企业。坦率地讲我们的例子可能不像很多互联网的例子那么时髦光鲜,比如我们会跟洋河集团一起做它的互联网+系列案例,给红领集团做西装定制的产品支持,给索非亚做定制家居的营销管理。这些传统的像政府、海关、苏州工业园区都是我们客户群体。可能我认为,在我们这样一个国家、这么一个时代,帮助传统型企业和机构进行转型能够发挥更多的价值。

CSDN:您刚刚也有提到服务对象,普元提供的服务包括大中型企业、政府机构、软件开发商等等。不同的服务对象贵公司所提供的技术服务特点有没有什么不同?

焦烈焱:是比较类似的。我们都是为企业用户提供基础软件的平台,让客户在这上面做自己的应用创新。基本上使用普元提供的产品和解决方案后,就不必担心基本的技术问题。其实大家也应该发现了这样一个趋势,所有的企业最终都会变成软件企业。软件研发成本很高,因此我们希望提供一个平台去解决,让客户把更多的精力放到业务创新上去。

CSDN:在新一代系统架构中,大数据是核心要素。这就要求企业在搭建大数据平台时,需着手大数据治理相关建设。传统的大数据治理存在哪些弊端?数字化转型中的大数据治理架构又有什么特点或优势?

焦烈焱:我先谈谈什么是大数据治理。现在做大数据可能更多是做大数据的平台,并在平台上做应用创新。那么大数据治理究竟做什么?建立大数据平台或大数据应用类似于搞交通,有人铺路、有人造车。大数据治理则跟警察一样,会在马路上建红绿灯、安摄像头,在有了这些合规检查的前提下路才能建好,车才能跑起来。好比足球赛,绝大多数人为运动员服务,我们恰恰是为裁判服务。因此我们做的事情相对小众一些。

现在的大数据治理跟以前最大的不同在哪呢?以前,大数据治理更在意流程管理和组织规范等,然而现在的数据量越来越大,管理维度越来越多,所以必须借助技术手段。以前的足球裁判只有哨子、旗子还有红黄牌这些工具,现在则有鹰眼摄像头这些。普元一直在做中间件,给用户提供工具帮他把数据管理好、治理好,这就是以前的数据治理和现在最大的区别。

CSDN:有没有一些典型的大数据治理方案可以分享?

焦烈焱:有个我们在苏州工业园区做的一些工作。现在政府特别强调数据共享,以前数据共享都是用数据交换,过程很长且不一定及时。现在通过治理手段做共享平台,把信息打通实现信息共享,这对现在整个社会的发展、企业效率的提升都有非常大的加深。

CSDN:在大数据治理上也是探索了很多才发展到今天的程度,这个过程中碰到过什么困难?

焦烈焱:大数据治理实是一个小众的事情,因此很多人并没有意识到它的重要性。目前大数据还处于刚刚起步的阶段,我们很多人更多地是研究IT数据和交易等,包括信贷系统、网上银行系统这些,而不是搞数据挖掘分析的,所以这对很多人来说都是一个新课题,在大数据处理的完善度方面难免会考虑不足。但是随着数据量的提升和业务范围的拓宽,数据治理的重要性会逐渐体现出来。其实我们面临的一点就是很多地方仍处于比较初级的阶段,这就属于到底是先污染后治理还是先治理后污染的问题。但好处在于我们发现很多领先的客户,他们非常重视这个问题,当数据量到了一定的级别,如果想要数据创新,必须借助数据治理。

CSDN:您认为未来大数据治理会向什么样的趋势发展?

焦烈焱:大数据治理需要很多技术手段让用户把数据用好,在数据用好的情况下会发现传统数据治理谈的最多的是结构化数据,但现在有了越来越多的视频数据、物联网数据、非结构化数据,这些数据该怎么治理是未来非常大的难题。以前跟IT系统打交道可能就是上一个网页、填一些信息、然后做个搜索,以后更多是语音和视频的方式,这种情况下该怎么做?数据又该怎么治理?都是我们值得思考的问题。

CSDN:在企业数字化未来这一点上您有怎样的思考?

焦烈焱:大家都讲企业以后会是数字化企业,企业以后的软件都由自己做研发,所以会发现软件应用的空间会越来越广,用软件的方式做业务创新,能够加强管理体系、实现精细化和敏捷化运营,这些都是软件能发挥的作用。我经常说此软件非彼软件,网页时代做得好未必在视频时代同样如此,现在讲大数据也是一样。其实用大数据思维解决问题,并且跟企业实际结合起来,你的数字化、每个人的数字化可能都不一样。

CSDN:您之前写过《SOA中国路线图—实施版》一书,在平时生活中您也是个喜欢阅读和写作的人吗?

焦烈焱:我写作真的不多,如果你做了一个事情你可能把它说出来,如果你再想提升一步就把它画出来,如果再想提升一步可能就把它写成一本书,写作其实是蛮难的。但在今年我们做了普元整个InsideOut云计算研发开放计划,进行了大量的写作,把整个公司正在研发的产品和设计全向业界公开。也欢迎更多朋友来查阅,如果在工作中遇到云计算实施的问题都可以到我们公开的计划里找到答案,如果找不到答案也可以跟我们的专家沟通交流。我们也希望通过这种方式把整个的知识贡献出来,让业界采用这种技术,降低门槛。这一块我们也跟CSDN有很多的合作,希望通过CSDN的渠道在中国把云计算、大数据的知识普及更多,传播更广。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
普元大数据治理提高数据质量 作者:赵明 来源:《中国计算机报》2016年第27期 在数字化转型过程中,大数据的作用是什么?虽然很多人都看好大数据产业的 发展,但是到底什么样的数据能发挥价值,帮助企业快速发展,这才是数据真正的意义 。在大数据时代,数据已经成为某种意义上的战略资源。大数据的广泛应用,可以使生 产型企业进一步提升生产率,使企业资产增值。 数据是企业的核心资产,使用数据的能力决定了企业的竞争力,数据驱动企业 发展,数据是估值企业的关键指标。很多企业在数字化转型过程中需要大数据为它提供 精准的分析结果。那么,如何才能提供精准的结果?首先最基本的要求就是数据质量要 高。普元信息软件产品部副总经理、大数据产品线总经理王轩认为:"企业数字化转型需 要以高质量的数据作为基础。企业有了高质量的数据,就能够加速它的数字化转型的过 程。" 在数字化转型过程中,很多传统行业希望把出售数据作为其利润增长点。但是 如果想把数据当作商品出售,那么至少需要这个数据是有质量保障的。但目前情况下, 这些数据有非常多的问题。虽然很多企业经过了这么多年的IT建设,但数据模型并不统 一,没有统一的数据标准,也没有数据质量的检测体系。没有统一的标准,就没有质量 控制的能力,高质量的数据就无从谈起。王轩表示:"一些企业已经意识到在数据资产化 之前,第一步应该先进行数据治理。只有数据质量提高了,才能实现数据资产化。" 数据治理的本质是什么?数据治理的本质就是使数据和服务更加紧密地结合, 实现数据的内在价值,为企业提供新的利润增长点。但在数据治理过程中,企业中每个 业务部门都认为它的数据是正确的,但从宏观角度来看,业务部门之间的数据是不一致 的,这其实就是数据质量问题。 确保数据质量 在做数据分析时,如果应用错误的数据做分析,那么不论分析的方法精准与否 ,分析的速度多快,都无法得出正确结果。因此,首先要确保数据质量。要想确保数据 质量就要做数据治理,而做数据治理,并非一次性的工作。 "它绝对不是一个毕其功于一役的事,它需要一个长期的过程,也需要很好的平 台。"王轩认为,"很多项目分析结果出来以后,项目是失败的,主要原因是分析的结果 都是错的。没法保证分析结果是对的。我们需要用大数据治理支撑整个上层用户。真正 的大数据治理,尤其是大企业做数据治理,它是一个全过程和全方位的事情。"数据治理 需要有一个很好的技术平台,但仅仅依靠技术平台是不够的。在技术平台之外,需要有 一系列与业务相关的协作,包括数据标准、数据质量等一系列工作要完善,共同完成大 数据治理任务。 当企业意识到数据有问题时,通常分析结果已经出错,然后才去检查数据,进 行数据治理,这事实上已经是亡羊补牢的做法。因此,要防患于未然,在数据采集、数 据交换等每一个环节都做数据治理。而数据治理还需要针对不同行业特点,比如,金融 、电信和能源等行业的数据信息标准就不同,不可一概而论,需要建立不同行业的数据 标准。 数据标准化是企业信息化建设最根本、最基础的工作,数据标准化工作做得好 ,会为后续的BI、大数据分析打下坚实的基础。但数据标准化工作是个费力不讨好、非 常不容易开展的工作,越来越多的企业在数据标准化的过程中发现了企业管理上的诸多 问题,甚至影响到了企业利益,那么企业应该如何开展数据标准化相关工作? 普元信息大数据产品部资深架构师袁锋涛认为:"数据标准是增强企业各部门对 业务统一理解的手段,是企业在开发应用系统时对数据进行定义的依据。数据标准化是 面向企业顶端的,是伴随企业体系化建设的长久之路。" 数据标准体系完善的过程,是通过各种手段、方式、渠道,建立数据标准体系 的过程。在此过程中企业应以元数据管理为基础,推动数据标准在各应用系统中的执行 ,逐步形成常态化的、闭环的标准体系应用机制,从整体上提升企业的数据质量和数据 管理水平,为实现企业数据流的畅通和全系统信息资源的共享奠定基础。 只有数据标准逐步完善,才有可能进行准确的数据治理,对大数据实施全过程 、全方位的管理。很多人在做数据治理的时候,往往只集中在数据应用环节,范围过窄 。在整个过程中,要从数据应用、数据传输、数据存储等环节全面去做数据治理,在每 一个环节都需要控制数据的标准和质量。 如何判定数据是否存在价值 世界上没有废物,只是没放对地方。这是很多环保人士市场挂在嘴边的一句话 。而数据,也可以套用这种思维方式。 所谓无用的数据,某些是在处理中发现确实数据有错误,需要治理,但也有一 些数据看似与以前或者当下业务无关的数据。但这类数据未必对未来业务没有帮助,或 许有其他价值,那么普元是如何区分和处理这些数据的呢? 王轩表示:"首先数据都是有价值的,但是企业的核心的数据一定要是准确的, 外围的数据可以暂时搁置一边。普元目前提出的数据标准是相对狭义的,我

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值