建设大数据平台，从“治理”数据谈起

一

随处可见的数据问题

大数据不是凭空而来，1981年第一个数据仓库诞生，到现在已经有了近40年的历史，而国内企业数据平台的建设大概从90年代末就开始了，从第一代架构出现到现在已经经历了近20年的时间。

在这20年的时间里，国内数据平台实施者可以说是受尽折磨，数据项目一直不受待见，是出了名的脏活累活。

可以说，忽视数据治理给数据平台建设带来了不少问题。随处可见的数据不统一，难以提升的数据质量，难以完成的数据模型梳理等源源不断的基础性数据问题，限制了数据平台发展，导致数据应用不能在商业上快速展示效果。

二

大数据时代下需要新一代的数据治理能力

数据不可知

用户不知道大数据平台中有哪些数据，也不知道这些数据和业务的关系是什么，虽然意识到了大数据的重要性，但平台中有没有能解决自己所面临业务问题的关键数据？该到哪里寻找这些数据？

数据不可控

数据不可控是从传统数据平台开始就一直存在的问题，在大数据时代表现得更为明显。没有统一的数据标准导致数据难以集成和统一，没有质量控制导致海量数据因质量过低而难以被利用，没有能有效管理整个大数据平台的管理流程。

数据不可取

用户即使知道自己业务所需要的是哪些数据，也不能便捷自助地拿到数据，相反，获取数据需要很长的开发过程，导致业务分析的需求难以被快速满足，而在大数据时代，业务追求的是针对某个业务问题的快速分析，这样漫长的需求响应时间是难以满足业务需求的。

数据不可联

大数据时代，企业拥有着海量数据，但企业数据知识之间的关联还比较弱，没有把数据和知识体系关联起来，企业员工难以做到数据与知识之间的快速转换，不能对数据进行自助的的探索和挖掘，数据的深层价值难以体现。

通过分析以上四类问题，我们发现传统数据平台面临的问题，在大数据时代不仅没有消失，还不断涌现出新的问题，传统的数据治理需要提升能力，来解决大数据平台建设过程中的这些问题。

三

巨龙龙腾大数据平台介绍

巨龙自主研发的龙腾大数据平台，融合公安行业特色的数据管理工具建设成果，以元数据为基础，实现了贯穿数据设计、产生、存储、迁移、使用、归档等环节的数据全生命周期管理，以及数据从源端到数据中心，再到应用端的全过程的管理，做到了以用户为中心，通过大数据治理，为用户提供更便捷、更灵活、更准确地获得企业大数据资产的能力。

平台的特点

1.全面适配主流大数据基础平台技术体系的行业一站式数据中心集成、管理及服务。

2.快速构建以共享数据资源平台为中心的数据工程服务能力。

3.以“造城”方式打造公安及行业大数据综合平台的新型业务生态。

平台的产品

大数据集成系统

构建统一的数据集成&交换能力，打破各技术 平台间壁垒，提供多样化的抽取&整合插件、实时监控组件，作业流程模型、第三方ETL定制插件，依据公安数据元规范，实现海量异构数据的标准化抽取、整合、清洗、入库等集成业务。

大数据管家

全面管理大数据资源池的各类异构资产，并依据《公安数据资源目录技术规范2.0》开展数据标准化管理、资源统计、质量评估、公安数据编目及数据监控等工作。

大数据服务总线

引入全新服务容器，增强公安云服务中心能力，构建扁平化的公安云架构，提供安全可靠的资源共享交互通道，全面支撑跨平台、跨网络、跨地域的专项资源服务、大数据服务及第三方应用服务。

龙腾大数据平台通过数据集成、数据管理、数据服务，形成了一整套以用户为中心的大数据治理能力，从而使数据治理完成了从以管控为中心到以业务为中心的转变。