数据被污染后怎么办?

“理想情况是建立一套数据标准,然后把数据标准跟现在的IP做一个映射,实际情况一般都是先污染后治理。”

普元作为国内领先的软件基础平台与解决方案提供商,主要面向大中型企业、政府机构及软件开发商提供SOA、大数据、云计算三大领域的软件基础平台及解决方案。在本次大会上,普元信息CTO焦烈焱发表了题为“数字经济时代的智能化大数据治理”的演讲。CSDN记者就“智能化、自服务大数据治理”和焦总进行了互动探讨。

图片描述

普元焦烈焱与CSDN记者合影


今天,很多企业里都在问大数据厂商,你们到底有什么数据,这些数据到底能帮我产生什么样的价值,大家都在问这个问题,就是最好的事情。大数据这十年发生了比较大的变化,最重要的一点,就是大数据这件事已经深入人心。从管理者到各方各面的人,大家都被普及了大数据的技术理念,也知道要用大数据的方式来解决自身问题。

大数据时代,企业如何转型?

焦烈焱表示,以前做IT,客户更多的是从内部管理的角度来解决问题;现在是数据化的时代,不仅仅是管理,合作伙伴、IOT物联网设备都会发挥巨大的作用。在这样一个大数据的时代,谁能够建立起数字化企业的这个技术的平台,谁就能够更好的支撑自己的业务的前景。

智能化大数据治理,实际上是数字化平台的一部分。企业只有把数据治理数据管理做好了,才可以让数据发挥更大的价值。现在,每家企业的数据特别多,拥有几百套系统,上千张报表的传统企业不在少数。他们的IT系统每天还增加着大量的数据,企业如何知道我有哪些数据,有了这个数据之后怎么拿得到,之后如何发挥价值,大数据治理就是要解决这方面的问题。

普元正在建设数字化企业云平台ThePlatform,通过数据治理的手段,让企业用户找到数据,合理利用数据。

“智能”的数据治理

笔者最初是在普元PWorld技术大会听到的大数据治理、元数据等概念,其实,CSDN作为技术社区在活动组织过程中也会遇到数据不标准的,需要清洗的问题。对此,焦烈焱解释,像CSDN这样一个单点来说,拿到一些数据后可能有一些脏数据,数据不准确,但通过人力总能把这个东西做好。但是,如果传统大型企业面临这种问题,企业系统多、体量大,很多企业就觉得吃不消了。传统的数据治理,更多的如何建立数据管理的流程、组织机构,但是这种方法的自动化、智能化的程度不高、投入大;普元讲的智能化治理,是用大数据的技术手段,把用户效率、自动化程度提升起来,从而建立数据标准、数据模型,并把数据和业务关联起来。

数据治理的理想与现实

针对大数据问题,企业大多不是用技术语言来索要的,都是通过业务的语言。焦烈焱首先举了一个金融行业的例子——账户余额。这个词大家好像都听得懂,但在银行的业务领域,账户余额其实有很多的类型和分类。但这是银行业务的定义,IT系统里存的账户余额数据从技术的角度如何划分,银行客户就不一定非常清楚了。不同业务的技术理解不同,银行很多的数据都是不一致的,这可能造成监管报送时数据无法匹配。“普元现在面临的主要困难,就是把这些数据合理的组织起来,然后让客户的业务和技术,能做相对准确的映射。”

再比如用户画像,它也是数据治理的一个成果。客户统计口径统一、描述维度的准确、信息项的清晰后,就可以通过画像把数据收集起来。后期,客户想要增加一个维度,普元就需要对这个维度进行改变,这些都是数据治理要解决的问题。

理想情况是建立一套数据标准,然后把数据标准跟现在的IP做一个映射,实际的情况一般都是先污染后治理。

现在,普元针对客户现有的数据架构进行梳理,从映射数据做标准化的转化和约束,清理出这个数据。焦烈焱表示,普元数据治理的最终目标,是把数据变成服务,提供给使用者,帮企业建立一个数据统一的工作环境。在这个环境里,客户能找到数据,要到数据,然后能使用数据,大幅简化传统数据治理的工作量。

大数据人才

对于大数据人才的挑选,焦烈焱比较关注两点。

第一,偏人工智能方向,希望寻找具备包括深度学习、传统的统计学、知识图谱,知识工程方面的综合型人才。“对我们来说没有必要去单独做算法研究,目前的算法对我们来说够用了,足够了”。普元会用现有的一些成熟算法,根据现有业务上遇到的问题,总结出一些新的模型出来。
第二,他比较关注人才在行业里业务是否熟悉,是否能用现有技术知识跟客户的需求对接起来。

最后,焦烈焱对CSDN的社区工作也提出了表扬,“现在CSDN的培训业做的很好,大家都在学大数据、统计学、算法的相关知识了,这是很重要的。把这些技术理念灌输到人们日常生活当中,是很重要的事情。希望未来普元能与CSDN一同将技术理念、实践经验输出到社区平台中,帮助到更多的开发人员积累技术知识。”

后记

大数据技术通过10年的时间,从概念落地到行业,让大家明白这个技术可以帮助人们在自身业务里做一些实际的事情。普元作为一线的IT服务商,从产业的角度给我们分享了大数据和方面的话题,这对致力于该领域学习、研究的CSDN读者来说,有很好的实践意义可以借鉴。

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/well_2000_82/article/details/80133303
上一篇OpenPOWER开放融合 IBM开始在AI框架方面发力
下一篇收官之战 Power AI编程马拉松第四场圆满结束
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭