软信天成：构建数据集市需要注意什么？

在众多数据集市建设项目中，软信天成积累了大量的案例经验。为帮助更多企业用户最大化发挥数据湖环境的价值，挖掘以数据驱动的智能颠覆的潜能，下文是软信天成关于构建数据集市的三点建议：

一、注重敏捷性设计

对于才开始构建数据集市环境的企业而言，初期很难从数据集市环境中快速获取最大价值，原因在于：

• 陈旧的数据管理流程阻碍速度、灵活度和协作的开展。
• 过多的IT部门控制降低项目进度。
• 缺乏有效的协作工作，导致无法从其他团队已完成的工作中获益。

数据湖项目需要数据工程实施方面的知识、数据管理员的业务环境分析能力、数据科学家和分析人员的专业分析技能，多方面的视角能够及时获取准确一致的商业洞察，确保每个人都能对可用数据达成共识。

其中，自助服务举措是构建数据集市的核心原则之一。数据集市能把数据从仓库中拿出来，放在企业面向用户的货架上，让业务线用户直接在集市中“购买”符合需求的数据，并参与在可信赖的资产中准备数据的过程。此外，通过众包和标记方式来管理数据资产是数据集市的另一核心原则。业务分析人员可以通过标记和其他分类方式来贡献所掌握的知识，促使数据资产的质量不断提高，借助众包模式充分的利用业务分析人员的知识和专业技能，改善数据的质量和环境。

二、搭建数据供应链机制

快速发现新的商业洞察既是数据湖环境的优势，又是搭建数据集市的基础。当下，企业需要处理的数据量迅速增长，组织需要找到可扩展的自动化解决方案来满足数据持续爆炸的需求，故而，依赖人工和专业化的流程来处理现状是不符合实际的。

在数据湖环境中，最具策略意义的便是数据摄入和转换的自动化。数据的人工摄入和转换必然导致数据无法重复摄入以及摄入的数据不一致等问题，如果没有提早发现数据湖中的数据质量错误，不同数据资产之间不准确或不一致的问题将会显著影响所获取的商业洞察。然而，面对如今需要管理和分析的数据业务量，企业几乎不可能以人工方式来发现数据质量问题。

成功的组织会利用预置连接器和高速摄入平台来将数据集加载和转换到数据湖中，并借助自动化实现快速迭代，灵活应对并支持不断变化的业务需求。再者，具备基于规则的数据验证和数据计分功能的数据湖可自动检测出数据不完整和不一致问题，通过突出显示存在最大数据问题的区域，帮助组织提早发现异常数据，提高商业洞察的可靠度。最后，由机器学习驱动数据的发现与管理可为企业生成所有数据资产的全方位视图，方便业务人员发现新资产。

三、采用有助于提高速度和协作的组织方式

从日常运营角度上看，企业多面临着与不同地域和组织边界的IT部门和业务线利益相关合作的难题。一般情况下，部门数据孤立的遗留问题以及对功能性数据收集的总体偏好会削弱数据湖的优势，陈旧而缓慢的数据管理模式将持续影响着企业运作。因此，建立单一的数据资产库是数据集市的又一核心原则。

遵循协同定位的原则一直是将数据湖优势最大化的关键。企业搭建有限数量的大规模数据湖环境，并围绕关键的业务领域开展全方位的组织，采用孤立集中化管理和协作设计，既能确保数据湖体现企业的单一可信视图，减少不必要的重复，避免增加管理风险和难度，又可以充分利用数据分享、数据标记和项目工作空间的管理方式推进需要协同的作业。

鉴于需求的不断增长，缺乏标准化将局限日后的扩展需求，永久性的削弱数据湖的优势。因此建立标准化的流程和一致的体系结构，可保障企业资源集中在创新和分析上，而不是数据管理中，进而为企业业务提供最具价值的数据洞察。

值得注意的是，要提升速度、敏捷性和协作性，企业所面临的一大瓶颈还在于共同语言的缺失。如果企业内部人员无法以一致的方式识别数据资产，将形成孤立的数据理解，严重影响数据在全企业范围内使用的效力。通过制定分类和分级标准，用标准化的分类法和术语表，不仅能够让团队数据理解保持一致，还能在处理敏感数据时，从根本上简化合规审计和跟踪工作。

---

对于数字化组织而言，数据湖为企业快速且高效获取全新的商业洞察提供了独一无二的方式。企业可以按照上述软信天成的三点建议将最佳实践应用于解决方案和流程中，通过在流程中促进协作，将数据湖从被动的存储空间定位中解放出来，打造主动面向数据消费者的数据集市，更快获得数据洞察。