数据被污染后怎么办？

“理想情况是建立一套数据标准，然后把数据标准跟现在的IP做一个映射，实际情况一般都是先污染后治理。”

普元作为国内领先的软件基础平台与解决方案提供商，主要面向大中型企业、政府机构及软件开发商提供SOA、大数据、云计算三大领域的软件基础平台及解决方案。在本次大会上，普元信息CTO焦烈焱发表了题为“数字经济时代的智能化大数据治理”的演讲。CSDN记者就“智能化、自服务大数据治理”和焦总进行了互动探讨。

普元焦烈焱与CSDN记者合影

---

今天，很多企业里都在问大数据厂商，你们到底有什么数据，这些数据到底能帮我产生什么样的价值，大家都在问这个问题，就是最好的事情。大数据这十年发生了比较大的变化，最重要的一点，就是大数据这件事已经深入人心。从管理者到各方各面的人，大家都被普及了大数据的技术理念，也知道要用大数据的方式来解决自身问题。

大数据时代，企业如何转型？

焦烈焱表示，以前做IT，客户更多的是从内部管理的角度来解决问题；现在是数据化的时代，不仅仅是管理，合作伙伴、IOT物联网设备都会发挥巨大的作用。在这样一个大数据的时代，谁能够建立起数字化企业的这个技术的平台，谁就能够更好的支撑自己的业务的前景。

智能化大数据治理，实际上是数字化平台的一部分。企业只有把数据治理数据管理做好了，才可以让数据发挥更大的价值。现在，每家企业的数据特别多，拥有几百套系统，上千张报表的传统企业不在少数。他们的IT系统每天还增加着大量的数据，企业如何知道我有哪些数据，有了这个数据之后怎么拿得到，之后如何发挥价值，大数据治理就是要解决这方面的问题。

普元正在建设数字化企业云平台ThePlatform，通过数据治理的手段，让企业用户找到数据，合理利用数据。

“智能”的数据治理

笔者最初是在普元PWorld技术大会听到的大数据治理、元数据等概念，其实，CSDN作为技术社区在活动组织过程中也会遇到数据不标准的，需要清洗的问题。对此，焦烈焱解释，像CSDN这样一个单点来说，拿到一些数据后可能有一些脏数据，数据不准确，但通过人力总能把这个东西做好。但是，如果传统大型企业面临这种问题，企业系统多、体量大，很多企业就觉得吃不消了。传统的数据治理，更多的如何建立数据管理的流程、组织机构，但是这种方法的自动化、智能化的程度不高、投入大；普元讲的智能化治理，是用大数据的技术手段，把用户效率、自动化程度提升起来，从而建立数据标准、数据模型，并把数据和业务关联起来。

数据治理的理想与现实

针对大数据问题，企业大多不是用技术语言来索要的，都是通过业务的语言。焦烈焱首先举了一个金融行业的例子——账户余额。这个词大家好像都听得懂，但在银行的业务领域，账户余额其实有很多的类型和分类。但这是银行业务的定义，IT系统里存的账户余额数据从技术的角度如何划分，银行客户就不一定非常清楚了。不同业务的技术理解不同，银行很多的数据都是不一致的，这可能造成监管报送时数据无法匹配。“普元现在面临的主要困难，就是把这些数据合理的组织起来，然后让客户的业务和技术，能做相对准确的映射。”

再比如用户画像，它也是数据治理的一个成果。客户统计口径统一、描述维度的准确、信息项的清晰后，就可以通过画像把数据收集起来。后期，客户想要增加一个维度，普元就需要对这个维度进行改变，这些都是数据治理要解决的问题。

“理想情况是建立一套数据标准，然后把数据标准跟现在的IP做一个映射，实际的情况一般都是先污染后治理。”

现在，普元针对客户现有的数据架构进行梳理，从映射数据做标准化的转化和约束，清理出这个数据。焦烈焱表示，普元数据治理的最终目标，是把数据变成服务，提供给使用者，帮企业建立一个数据统一的工作环境。“在这个环境里，客户能找到数据，要到数据，然后能使用数据，大幅简化传统数据治理的工作量。”

大数据人才

对于大数据人才的挑选，焦烈焱比较关注两点。

第一，偏人工智能方向，希望寻找具备包括深度学习、传统的统计学、知识图谱，知识工程方面的综合型人才。“对我们来说没有必要去单独做算法研究，目前的算法对我们来说够用了，足够了”。普元会用现有的一些成熟算法，根据现有业务上遇到的问题，总结出一些新的模型出来。
第二，他比较关注人才在行业里业务是否熟悉，是否能用现有技术知识跟客户的需求对接起来。

最后，焦烈焱对CSDN的社区工作也提出了表扬，“现在CSDN的培训业做的很好，大家都在学大数据、统计学、算法的相关知识了，这是很重要的。把这些技术理念灌输到人们日常生活当中，是很重要的事情。希望未来普元能与CSDN一同将技术理念、实践经验输出到社区平台中，帮助到更多的开发人员积累技术知识。”

后记

大数据技术通过10年的时间，从概念落地到行业，让大家明白这个技术可以帮助人们在自身业务里做一些实际的事情。普元作为一线的IT服务商，从产业的角度给我们分享了大数据和方面的话题，这对致力于该领域学习、研究的CSDN读者来说，有很好的实践意义可以借鉴。