硅谷速递 | DataOps常见问题、错误与相关概念

LinkTime_Cloud

于 2020-08-10 10:00:00 发布

阅读量268

点赞数

分类专栏：大数据硅谷文章标签：大数据编程语言人工智能数据分析 java

原文链接：https://www.linktimecloud.com/

版权

大数据同时被 2 个专栏收录

21 篇文章 0 订阅

订阅专栏

硅谷

5 篇文章 0 订阅

订阅专栏

原文作者：DataKitchen、ODSC - Open Data Science、Sanna Diana Tomren

嗨，大家好，智领云科技全新栏目【硅谷速递】重磅来袭，每周一为大家速递美国硅谷最精彩的科技文章和学习资料，简约不简单是本栏目的最大特点，3篇短小精悍的文章，助你每周快速精准Get一项最新技术点！把握技术风向标，了解行业应用与实践，就交给“硅谷速递”吧～

速递先知

本期我们特别为大家带来三篇有关「DataOps」的硅谷前沿技术文章：

关于DataOps的十个常见问题
DataOps的5个常见错误
关于2020年的“Ops” - DevOps、DevSecOps、DataOps

关于DataOps的十个常见问题

随着DataOps的曝光率不断增加，人们第一次遇到了这个术语。本文将通过有关DataOps最常见的十个问题，来带领您简要了解DataOps。

1.DataOps是什么？

DataOps是技术实践、工作流、文化规范和结构模式的集合，分别体现在其以快速的创新、体验，向客户传递新见解；高质量、低错误率的追求；跨人员、技术和环境的复杂协作；明确的衡量与监测以及透明的结果。

解释DataOps的最佳方法是对其知识遗产的回顾及对其试图解决问题的探索，那么DataOps的知识遗产是什么？

2. 什么是DataOps的知识遗产？

DataOps将敏捷、DevOps、精益和统计过程控制应用于数据分析的开发和运营，共同构成了DataOps的知识遗产。

3. 什么是敏捷开发？

为了使DataOps更有效，DataOps将敏捷开发引入了数据分析中，使数据团队和用户可以更加有效地协同工作。随着创新速度的提高，团队可以根据用户的持续反馈不断重新评估其优先级，并更轻松地适应不断变化的需求。

4.什么是DevOps？

DevOps是一种使用自动化来加速构建生命周期的软件开发方法。按需利用IT资源，自动化代码的集成、测试和部署，致力于软件的持续集成和持续交付。软件开发和IT运营的合并减少了部署时间，缩短了上市时间及软件发布周期，最大程度地减少了缺陷并缩短了解决问题所需的时间。

5.什么是精益制造，它与数据分析有什么关系？

精益制造是一种起源于日本制造业的方法，强调在不牺牲生产率的情况下将系统内的废物减至最少。在数据分析的数据管道中，通过SPC（统计过程控制，一种强大的精益制造工具）协调、监控和管理数据管道，可以显着提高数据分析效率、质量和透明度。

6.DataOps试图解决什么问题？

DataOps旨在控制数据分析的工作流和流程，消除阻碍数据组织实现高水平生产力和质量的障碍，缩短从提出新想法到部署完成的分析之间的“周期时间”。

7. 一个DataOps组织是什么样的？

DataOps统一所有开发和运营工作流，将数据分析管道重组为服务（或微服务），把从数据汇聚到数据展示的完整阶段的所有工作都在自动化流程下进行。由于错误而导致的计划外工作减少了99％以上，数据组织不再依赖希望和英雄主义，数据团队能够根据适合其工具链的迭代节奏即高效协作，又独立工作。

8.如何证明DataOps确实在为企业增加价值？

DataOps为数据运营和分析开发提供了前所未有的透明度，企业组织可根据其特定需求来轻松自定义指标，如团队协作、错误率、生产率、部署、测试和交付时间有关的指标，并通过对指标的度量进行效果量化。

9.DataOps不仅仅是DevOps for Data吗？

“DataOps”一词传达了数据分析可以实现使用DevOps实现的软件开发效率，帮助数据团队在使用新的工具和方法时，把数据开发的质量和周期时间方面提高一个数量级。DataOps包括DevOps和其他方法。

10.在哪里可以买到DataOps？

DataOps解决了广泛的工作流程问题，包括分析创建和端到端数据操作管道。它不是可以购买并忘记的工具。

最后，DataOps是在炒作吗？

DataOps是基于坚实的基础，包括敏捷开发、DevOps、精益制造和统计过程控制。数十年来，这些成熟的方法已为企业增加了价值。那么，您觉得呢？

DataOps的5个常见错误

在企业为切换DataOps做好准备的同时，对DataOps的理解和实践仍然存在一些误区，本文将简要介绍在使用DataOps时可能犯的五个常见错误。

错误1：像对待DevOps一样对待DataOps

DataOps不仅仅是将DevOps应用于数据分析。如果使用DevOps迭代并减少数据建模的生命周期，那么将失去重点。

DataOps具有数据管道的关键组件。如果将系统视为工厂：数据进入并通过DataOps分析侧设置的管道进行处理，通过统计过程控制工具协调、监控和管理数据管道，敏捷开发则使用该数据加速产品开发，DevOps不断创新处理数据管道的算法。如果坚持只使用DevOps，则将会错过其他两个关键组件。

需要做的是：敏捷开发、精益、DevOps并行应用于数据分析的开发和运营。

错误2：协作程度不高

就数据管道而言，协作显得尤为重要。DataOps不仅需要数据团队，还需要业务中的其他部门的合作和支持，以及利益相关者的大力支持。

如果没有适当的协作，则可能花费数月的时间才能通过数据管道进入生产环境。企业必须赋予团队自由进行协作和执行流程的自由。否则，您将在瀑布式环境中“执行” DataOps。

需要做的是：赋予团队自由进行协作和执行流程的自由。

错误3：透明度不够

数据科学家需要前所未有的访问权限，这些访问权限下的数据可能在十年前被标记为不相关的数据。如AI交易中的无人监督和半监督系统需要大量数据用于训练集，如果不允许数据科学团队收集和清理此类数据所需的创造性自由，则可能无法获得所需的见解。

需要做的是：让数据团队自由地做自己最擅长的事情。

错误4：流程与业务目标不一致

巩固流程与业务目标保持一致的文化，更多的数据访问意味着数据团队注意力的分散。因此，DataOps必须制定计划，将数据收集、清理和洞察的各个方面指标整合到可衡量的KPI中。只有当有一种方法可以快速响应数据时，培养提高速度和准确性的过程才有用，对客户流失的洞察才会更准确。

需要做的是：确定关键的KPI，并围绕这些目标调整DataOps。

错误5：尚未培养DataOps文化

消除孤岛的一部分是将整个公司带入DataOps。随着数据开始驱动业务决策，如果整个工作场所的文化都没有采用数据驱动的做法，那么DataOps计划可能无法获得想要的结果。例如，数据团队现在拥有运行诊断程序，提取数据和构建新模型的自由和自主权，但是如果最新报告中的预测在产品经理的办公桌上放了一个月，而管理部门的官僚机构却团结了起来，这并不是DataOps文化。

需要做的是：全面放松瀑布管理，让团队跨职能。

因此，在不修改公司文化和基础架构的前提下，容纳组织可以访问的数据是有限制的。企业实施数据结构和ML / DL计划，需要一个清晰的计划和对传统业务结构的改造。

关于2020年的“Ops” - DevOps、DevSecOps、DataOps

数字化时代的今天，或多或少，所有事情都是通过软件或在软件上发生。制造所有这些令人垂涎的软件和软件公司的公司已经解锁了我们都必须调查和了解的内容，直到2020年。因此，了解与软件开发方法相关的概念显得如此重要。本文将为您简要介绍2020年的3个”Ops"：DevOps，DevSecOps和DataOps。下面将这些术语分解为：