DataOps详解 (上)

最新推荐文章于 2024-07-26 13:24:37 发布

Java学研大本营

最新推荐文章于 2024-07-26 13:24:37 发布

阅读量620

点赞数

文章标签：人工智能

本文链接：https://blog.csdn.net/u013643074/article/details/131128761

版权

什么是数据运营？数据团队终极指南

微信搜索关注《Java学研大本营》，加入读者群，分享更多精彩

DataOps 的概念近年来变得流行起来，作为确保团队有效管理数据并保持对高质量、及时数据的有效访问的一种方式。

DataOps 是一种面向流程的方法，可帮助管理创建、缩短和放大反馈循环的数据，并允许继续进行实验以从错误中吸取教训并实现精通。本指南详细介绍了您需要了解的有关 DataOps 的所有信息。

什么是数据运营？

DataOps 是一种自动化的、面向流程的方法，分析和数据团队使用它来提高质量并缩短数据和分析的周期时间。或者，正如 Gartner 所定义的那样：

“DataOps 是一种协作数据管理实践，专注于改善整个组织中数据管理者和数据消费者之间数据流的通信、集成和自动化。DataOps 的目标是通过创建数据、数据模型和相关工件的可预测交付和变更管理来更快地交付价值。”

具体来说，DataOps 专注于提供敏捷的数据载入、增强的数据质量、可信信息以及原生融入关键工作流结构的治理和安全策略——所有这些都在一个不断完善的迭代过程中进行，并允许团队有效且高效地提出新的见解。

介绍 DataOps、IBM 数据和 AI https://youtu.be/EvQPGkmTBaU

DataOps 不仅仅涉及数据流动，还涉及数据背后的上下文。例如，当数据工件发生更改时，DataOps 会查看更改发生的原因、负责人以及用户如何修复下游报告等元素。

重要的是，DataOps 不是孤立运行的；它必须与 DevOps 和数据科学实践（如 MLOps）协同运作。

介绍 DataOps、IBM 数据和 AI https://youtu.be/EvQPGkmTBaU

什么是 DevOps？DevOps 是一套将软件开发和信息技术运营结合起来以缩短系统开发生命周期并提供高质量软件的持续交付的实践。至关重要的是，如果团队没有得到妥善管理和信任的正确数据，他们就无法实现这些目标。因此，DataOps 对于推动 DevOps 至关重要。

什么是 MLOps？MLOps 诞生于数据科学团队更有效地操作机器学习模型的需求。机器学习模型的兴起压缩了数据科学家访问信息、操作数据并以允许 DevOps 团队有效使用它的方式在生产中呈现的需求。再一次，这一切都始于定期访问实时和可信数据，因此依赖于 DataOps。

关于 DataOps 与数据操作的说明

同样重要的是要注意 DataOps 不一定与数据操作相同。数据操作比 DataOps 广泛得多，两者有不同的目标。

在范围方面，数据操作扩展到数据潜力以及数据的质量和可访问性。为此，数据运营的目标是确保数据发挥其全部潜力并提供最大价值，而 DataOps 的目标更侧重于确保快速轻松地访问高质量的实时数据。

DataOps 和 DevOps 之间有什么区别？

尽管 DataOps 和 DevOps 相关并且有许多相似之处，但也有许多区别将这两种实践区分开来。

在相似性方面，DataOps 和 DevOps 都有助于推动协作，专注于敏捷方法实践，使用自动化，征求用户反馈，并依靠快速迭代来更快地交付价值并提供持续交付。

也就是说，DataOps 比 DevOps 更复杂，并且使用（但增加了）许多 DevOps 原则。主要区别包括：

为什么 DataOps 很重要？

组织需要高质量、可靠且业务就绪的数据来竞争和实现业务目标——无论是交付 AI 计划、开辟新的业务模式，还是优化增长。

在此背景下，CIO 面临着扩展 DevOps 实践的压力。反过来，这种需求给实时访问数据和提高自动化带来了压力，从而增加了对人工智能的需求。支持所有这些需要具有适当治理的现代基础设施和数据架构。输入数据操作。

DataOps 有助于确保组织根据可靠的数据做出决策。以前，组织已经跨多个环境获取完整的数据集，将其全部放入数据仓库，然后从那里获取信息。但是，这种方法既不及时也不符合成本效益，而且通常不会产生预期的业务结果——尤其是在数据量增加的情况下。那是因为当团队提供任何见解时，有用的窗口已经过去了。随着 DevOps 对数据和 AI 施加压力以提高运行效率，团队必须能够在数小时或数天（而不是数周或数月）内迭代数据和表面见解。

此外，如果没有 DataOps，团队很容易在 AI 和 ML 上花费太多时间，即使这些努力只占提供上下文和可信信息所需内容的 20% 左右。发生这种情况时，组织会冒着根据不良数据推动新决策和能力的风险。与此同时，DataOps 专注于其他 80%——确保数据质量，但要确保团队能够有效地访问这些数据，而不必等待数月才能获得新的见解。

介绍 DataOps、IBM 数据和 AI https://youtu.be/EvQPGkmTBaU

DataOps 很重要，因为它不仅支持高质量的数据，而且可以跟上当今业务的步伐。

是什么导致了 DataOps 的兴起？

除了更快的业务节奏和 DevOps 对从数据中获得更多实时洞察的压力越来越大之外，还有其他几个因素导致了 DataOps 近年来的兴起。这些因素包括：

不断增加的数据量：越来越多的数据意味着更多的机会和洞察力——但前提是数据得到妥善管理和处理。如果团队对数据的治理和上下文有限，则可能需要数周或数月的时间才能获得洞察力。除了到那个时候已经过时之外，这些见解甚至可能都不准确。DataOps 旨在解决速度和质量的问题，即使大多数组织的数据量在不断增加。
增加依赖数据的系统和流程：在一个几乎一切都依赖数据的世界中，组织无法承受不及时或不准确的数据流入系统和流程的后果。这可能会导致糟糕的业务决策，从而影响最终用户、公司增长和收入。DataOps 再一次通过关注及时性和可访问性来帮助确保可靠性。
数据消费者的数量和种类不断增加：随着越来越多的用户在内部和外部使用数据，组织必须想方设法让各种类型的人都能轻松访问这些数据。等待技术团队给出答案不再是可行的解决方案。DataOps 通过使各种用户对数据的访问民主化来帮助解决这一挑战，特别是在通过自助服务高效且有效地回答数据相关问题时。

DataOps 的要素是什么？

DataOps 基于敏捷方法、DevOps 和精益制造的原则。

首先，DataOps 依赖于敏捷方法中的迭代概念来更快地提供洞察力。

接下来，它从 DevOps 中提取协作、打破孤岛和持续交付的概念，将数据科学家、数据分析师、数据工程师、AI 和 ML 团队以及 DevOps 团队聚集在一起，以快速部署新见解，使这些见解易于访问，并根据需要定期迭代。

最后，它依靠精益制造的面向流程的特性来改进数据管道和流程的管理，这有助于确保质量和效率。

总之，这些元素使 DataOps 能够将瓶颈转化为机遇。从采购数据到从中获得有价值的业务洞察，DataOps 为工作流和协作提供支持，从而实现部门之间更无缝的交接，提供数据上下文并确保及时性。所有这些都推动了更好地符合业务优先级的更高质量的结果。

介绍 DataOps、IBM 数据和 AI https://youtu.be/EvQPGkmTBaU

DataOps 的另一个重要元素是 AI 阶梯，它提供了一种简单的方法来查看从数据中获得经济收益所需的所有步骤。从本质上讲，AI 阶梯有助于创建更好的预测模型，以降低风险、提高生产力并自动执行日常任务，因此团队可以专注于 AI 和 ML 的更具战略性的元素，这些元素需要更深入的创造性思维。AI 阶梯对 DataOps 至关重要，如下所示：

收集：使数据简单易用。阶梯的这一步属于业务的 DevOps 方面。
组织：创建业务就绪的分析基础。这就是 DataOps 发挥作用的地方，它将来自不同系统的数据汇集在一起。
分析：利用无处不在的 AI 扩展洞察力。DataOps 再一次在这里发挥关键作用，它通过提供洞察力来提供可信数据，以便其他团队（如数据科学团队）可以构建有效的模型。阶梯的这一步包括主数据管理和数据集成等工作。
Infuse：以信任和透明的方式运行 AI。最后一步的重点是确保处理数据的团队可以通过数据虚拟化快速有效地访问信息，例如通过使数据科学家能够快速识别相关数据并将其呈现给组织。