自主数据管理 – 需求、范例和指南（一）

By Jeffrey - 资深IT经理人，IT运营和安全顾问，历任多家知名跨国企业包括麦肯锡大中华区、通用电气公司、壳牌石油、英美烟草等公司IT总经理

蓬勃发展的业务对数据供应的需求在不断增长，从而要求IT服务快速演进贴合商务需求。要求数据团队提高生产力，而且要快速。

自主数据管理（AutoDM – Autonomous Data Management）解决方案可以帮助消除数据团队遭遇的瓶颈，通过使用元数据、自动化和人工智能来规范和加速数据交付。这个概念并不新鲜，但计算能力和高级分析算法的进步使AutoDM对许多现代企业来变得更可行的。 AutoDM帮助数据团队控制他们的架构，减少人为因素干预，使决策自动化。它使用基于元数据的提示和建议来指导用户，便于他们管理三个领域—运营、管道和监管，无论是在云上或是线下。

以下步骤可以帮助数据团队达成实施AutoDM软件的预期效果。
> 评估你的数据管理状况。为你的数据基础设施、管线、分析工具、以及你的数据管理的主要组成部分创建一个架构图。基础设施、管道、分析工具和应用的架构图。寻找资源瓶颈和重复性的工作。
> 确定在哪里应用AutoDM。寻找可以提高整体流程的效率的瓶颈。这通常涉及到需要大量的人工、大量的时间和容易发生错误的重复性工作，然后评估AutoDM能否以及如何实现这些任务的自动化和合理化。
> 从小处着手。通过消除一两个比较简单的瓶颈，快速产生显著效果。一旦你在这些方面取得了成功，你就可以获得高层支持和足够的预算，以扩大你的AutoDM战果。

感受压力
每个企业都在寻求成为数据驱动型企业。但是，尽管技术的进步和云平台可以帮助企业获取大量的数据，但由于资源的限制，复杂性和成本，这些原始数据很难充分释放其价值。

为了理解这个问题，需要考虑两个重要因素：数据供应和数据需求。在数据供应方，数据的数量、种类和速度都在不断急剧扩大。在需求方，用户、应用和设备数量继续成倍增加。为了追赶这些增长，数据团队不仅需要提高他们的生产力，更需要新的方法来提高资源应用效率，简化流程，并降低成本。

是时候升级了
大量的证据表明，传统的流程和工具无法在复杂的环境中管理大型数据集。在2021年TDWI的一项调查中，373位业务和数据经理人中的61%表示他们的数据收集、整合和混合需要 "一些改进 "或 "一次重大升级"（见图2）。

 图2. 对数据收集、整合和混合的满意程度

此外，四分之一或更多的受访者表示，数据管理的以下方面需要进行需要进行 "重大升级"

数据管理任务	需要重大升级
数据抽取、清理和优质化流程	28%
自助式数据摄取、加载和准备	26%
主数据管理	29%
数据跟踪	26%

曙光在前方

数据团队可以通过自主数据管理（AutoDM）喘息一下。AutoDM将自动化和人工智能应用于数据管理，以缩小供应和需求之间的不平衡。这个想法并不新鲜。但计算能力和高级分析算法的进步--特别是机器学习--有助于使这个想法成为现实。它可以使企业充分利用数据真正的潜在价值。

自主数据管理是能集合元数据、自动化流程，并建议应采取的行动以规范和加速数据交付的软件。这将会减少消耗在准备、消化和管理及时准确的数据上所耗费的人力，这有助于企业更关注其本身更高的价值。你可以把自主数据管理看作是一辆自动驾驶汽车。你把你的手放在方向盘上，让汽车自主驾驶，仅在必要时进行干预。

自主数据管理集合了元数据，自动化流程以及建议的行动，以规范和加速数据交付。

元数据
AutoDM依靠的是元数据，即描述数据的数据。元数据根据诸如名称、位置和内容等特征对数据元素进行分。元数据定义了数据元素的结构，如文件、表或表中的列，以及彼此之间的关系。它还追踪数据的来龙去脉--包括谁创造了它，谁接触了它，包括时间线--并衡量不同消费者的使用情况。

领域
AutoDM使用元数据来指导数据团队管理三个领域：运营、管道和治理，无论是在云上或线下。虽然这些领域和它们的功能是现存的，但自主数据管理是新出现的。
 

> 运营：AutoDM帮助数据、IT运营以及云服务工程师管理计算、存储和网络基础设施，以支持数据管道。AutoDM提供、调整并监控这些资源，在出现问题是提醒数据团队注意并帮助补救。
>数据管道：AutoDM帮助数据团队管理管道。这些管道从源头获取数据，对其进行转换，并将其交付给目标。通过推荐配置和提示用户应采取的步骤，来帮助设计、配置、测试、部署和执行管道代码。
> 监管：最后，AutoDM帮助数据工程师和数据管理员管理数据，以确保数据的准确性、隐私性以及合规。它对元数据进行编目，控制用户对数据的访问，管理数据质量，并汇集主数据，同时记录日志以协助审计。

图3. AutoDM领域和功能

AutoDM使用元数据、自动化和自主性来改善数据操作（DataOps）、人工智能操作（AIOps）和机器学习操作（MLOps）。

• AutoDM通过将持续集成和开发（CI/CD）、测试和监控管道代码自动化的方式提高数据质量，从而帮助DataOps加速数据管道并提高数据质量。AutoDM 还有助于协调管道及其与数据环境的互动。
• AutoDM帮助AIOps提高IT应用和资源的稳定性和敏捷性。支持它们的资源。它将人工智能应用于IT运营（ITOps）和云运营（CloudOps）的任务自动化以改善资源管理。
• AutoDM帮助MLOps操作和管理快速、准确的ML模型，AutoDM在生产环境中处理数据时，将与管道开发、部署和监控有关的各种任务自动化，从而帮助MLO运营和管理。

必要条件

想要及时、准确地提供大规模的数据，企业数据团队需要控制其环境，减少人力任务，并使决策自动化。

• 控制环境：数据团队需要清楚和控制他们的环境--包括数据源、目标、管道、用户和工具，以及将它们相互连接的工具和流程。他们需要确保用户在提供和使用数据时不会背离现有的、经批准的工具和流程。
• 减少人力任务：数据团队需要减少人力任务，因为他们管理资源、管理管道和管理数据访问。这需要最大限度自动化和抽象化所有可能的流程。数据团队越是能够用图形界面和自动化工作流程来取代手动、重复和容易出错的脚本，他们就能更好地提高效率和降低风险。
• 人类决策自动化：最后，数据团队需要将人类的决策自动化。让员工只需批准或拒绝系统给出的建议，而不是自己动手设计一个解决方案。这样，员工就可以提高工作效率，从而提高生产力。这些人员可以腾出脑力来处理更大的计划，例如重新设计架构以支持高级分析。

人工智能需要大量的数据才能成功，而大量的数据需要人工智能才能成功。
自主数据管理代表了一个共生的机会。为了在人工智能方面取得成功，企业需要利用大量的数据。但是，要想利用大量的数据取得成功，他们需要采用人工智能。其中的诀窍是将正确的人工智能应用于正确的流程，然后不断地简化和优化它们。

如果实施得好，AutoDM可以使企业走上正轨。它可以通过标准化来提高控制力，通过自动化来减少人类的任务，并通过人工智能来实现人类决策的自动化。这有可能带来巨大的商业利益。企业可以减少成本 因为他们使流程更有效，团队更有生产力。他们及时向企业提供了更多更高质量的数据从而可以从分析中获得更多的价值。

最后，企业可以减少合规风险，因为他们重新控制了他们的数据环境和数据管理流程。AutoDM为分布式企业数据团队提供了亟需的帮助。