软信天成：杜绝数据沼泽，利用数据治理优化数据湖的五大关键

随着大数据、云计算、人工智能等新一代技术的普及和应用，传统的数据仓库模式早已无法满足当代企业的需求。一方面，企业为了在市场中获得优势，急需从不断增长的数据量中进行分析从而获得更深入的内容；另一方面，为了方便管理和减轻数据问题，企业迫切想要简化大型主机、旧系统对组织数据访问过程的需求，逐步朝基于云的数据平台转变。因此，作为容纳大量原始数据的存储库和处理系统，数据湖逐渐成为各大企业应用大数据的重要工具。

数据治理对数据湖成功至关重要

尽管数据湖能够为企业带来新的机遇，但只有管理有序的数据湖才能帮助企业释放价值。如果管理得当，数据湖能够提供一个合适的环境，用来识别和获取数据驱动的深入见解，从而提高业务灵活度并且利用新的机遇和收入模式：

• 运行实时报告或与工程师合作进行报告和分析的数据；
• 对快速进入的大量数据进行流分析，如果处理速度不够就会削弱数据相关性；
• 使用数据仓库中数据的成熟方法，源自数据湖，能实时运行业务报告和商业智能；
• 准备和丰富湖中数据的过程，使数据湖为人工智能（AI）/机器学习（ML）建模做好准备；
• 企业数据准备，准备和丰富湖中数据来为高级分析做好准备；

这一切的前提取决于：数据湖中的数据有用且可信，方能成为推动企业获得积极成果的关键业务资产。事实上，未治理的数据湖中的数据将更有可能产生错误、增加风险、降低回报和错失机会。利用数据治理项目对实践和流程进行管理，使数据湖成为企业数据生态系统里可靠而有价值的一部分，以确保企业数据资产的质量、可用性、合用性、完整性和安全性，是企业增加收入和利润、减少成本和降低风险的关键之举。

1、为用户提供与角色相关的体验

数据治理应该为企业中所有用户提供与角色相关的体验，以支持和促进IT和业务最终用户之间无缝流畅的协作。无论容量和数据多样性如何扩大，企业都能利用技术元数据到业务术语的自动映射支持未来的扩展性，并针对不同人物角色映射加快部署，消除耗时的手动流程。

因此，企业内诸如数据科学家、数据工程师和数据管理员一类的数据使用者；使用或生成分析、报告合规性、安全性、隐私和管理人员所需洞察力的业务职能部门在内的信息使用者；为数据集创造或增加价值的主题专家都能自如使用数据湖数据。

2、精简工作流程和过程

正确的数据治理方案只是全面解决方案和系统中的一部分，全面解决综合方案和系统能为所有类型的最终用户管理、优化和利用从多种来源获取的所有类型数据。其中，来自单一供应商的集成式、模块化、可扩展的解决方案能精简数据治理方案的配置、部署和维护流程。

采取“针对性治理”方法不仅能防止企业数据湖变成数据沼泽，还能提高遵守全球新隐私政策和法规的能力。针对不同人的不同需求实现强大而高效的协作之时，企业就能从过程、工作流程和通知中获得最大价值，从而将数据治理从控制逐渐转向协作。

3、具备高度灵活性

数据治理的一个关键方面在于灵活性，这关系到用户如何确定数据治理的类型和范围，数据治理的正确方法不仅能尽可能降低风险，还能为业务的最终盈亏提供有形价值。

一般而言，有些类型的数据需要高度治理，对于更加敏感或严加保护的数据，仅仅确保数据的正确性是不够的，定义有关访问、删除和保留的权限也同样重要。其他情况下，用户使用数据更加随意，或者只需方向正确即可，故而，数据来源的清晰度和可见性尤为关键。

4、提供可用且可靠的数据

企业数据湖中的数据要可用，首先必须可信。由于不同的最终用户对建立信任基础的要求不同，数据应该满足：全面且易于访问、显示所有来源、明确数据质量并传达准确度和完整性、阐明所获使用许可的类型、记录使用数据的人员和目的等要求。

而要实现最高可靠性，企业数据治理项目需要在无论何种位置（内部、混合源或云来源）支持数据，连接到所有数据库和应用程序包括来自支持物联网（IoT）的设备的数据，并让数据根据最终用户的需求进行更新，直观展示数据沿袭和影响分析。因而，强大的连接能力、数据编目和根据特定需求定制的灵活数据治理选项能转化为可靠的数据，可用于：自助式分析、监控和分析来自IoT设备（如传感器）的数据流、了解意外的新数据源。

5、兼具人工智能驱动的自动化

考虑到新兴技术和数据治理的未来发展，采取具有适应性的数据治理方法对组织非常有益。对于每一家企业而言，数据都必定会持续扩展和演变，要管理大量快速演变的数据，必须依靠人工智能驱动的自动化。

人工智能驱动的解决方案能够帮助组织以模块化方式部署数据治理，通过一个适度的试点，快速轻松的升级，以适应强大的功能并根据需要构建无限的数据容量，利用算法，提示数据管理员在分析数据的不同方面时运用特定的治理规则，极大精简数据湖管理，让即使完全不了解业务的操作者也能借助技术找到想要的东西。

---

数字经济时代，用好数据是企业数字化转型的关键，数据湖更是数据分析和商业智能的全新趋势。正确的数据治理项目能保证企业数据湖满足组织中所有利益相关方（从最终用户到数据科学家）的需求，加强数据的可信度和可靠度，为所有用户提供共识和通用词汇，进而提高效率并加快工作流程，赋能业务发展，帮助组织在数字浪潮中捕获新的机遇！