【产品规划】数据治理产品的智能化设想（系列一）

上周参与了大数据筑基工程对现有数据平台的对标分析工作，各厂家要分析出自己平台的现状、差距以及要未来要改进的点，从而为筑基工程制定出接下来的行动计划。

通过分析，发现公司产品在数据清洗、数据质量以及数据分析方面的覆盖度还是挺好，但在其它诸如统一安全、统一管理、数据共享等领域，则显得有点单薄，当然这也与总体方案对这方面的规划本身很超前也有关系。抛开其它方面不谈，产品在数据质量、数据清洗这两方面的满足程度，应该与这个公司的历史渊源、实践案例有很大的关系。这两个产品应该是继承自td，已经有了多年的实践，因此可以提炼出诸如数据质量检查模板、检查规则等这样具有一定抽象性的概念，让系统既能做到灵活配置，也具有极大的可扩展性。

但在这两个月的熟悉过程中，我也感受到了现有产品的不足，借着这次分析，对想法做了一定的归纳，主要包括以下几点：

• 功能分散，相互之间的联系松散。像元数据、数据标准、数据质量和数据清洗，这几个数据治理相关的功能，缺乏有效的配合，每个功能都以子系统的形式独立存在，没有有效融合为整体。比如元数据管理，其中的表、字段、ETL等的元数据都可以做到导入、管理、查询等，但并没有为数据质量、数据清洗等提供支撑。
• 功能的易用性不够，系统过于“重”。所谓的过于重，是指现有的功能多数用于项目上线后的日常生产，对于项目前期的数据质量和清洗，仍然是以“人肉”的方式去完成，现有的工具不能提供有效的支持。造成这个局面的原因，包括功能配置繁琐，使用不划算，也包括相关功能的深度不够，不能为实际工作提供帮助等。
• 系统缺少对项目实践经验的沉淀与积累的支撑，知识仍然停留在相关个人的脑子中，不能形成有效的共享。数据治理是大数据项