DataOps试图解决什么问题？

DataOps可以控制你的工作流程和进程，消除阻碍你的数据组织实现高生产力和高质量的众多障碍。我们将从提出新想法到部署完成的分析之间所经过的时间称为“周期时间”，许多组织需要数月的周期来部署20行SQL，漫长的循环时间会让用户感到沮丧和失望，并阻碍创造力。

理想情况下，数据团队像一台润滑良好的机器一样与用户携手合作，提出新的想法建议，并快速实施，以实现更高质量的模型和分析。不幸的是，我们的经验恰恰相反。数据团队经常被数据和分析错误打断，数据科学家75%的时间花在处理数据和执行手动步骤上。缓慢且容易出错的开发让数据团队成员和利益相关者感到失望和沮丧。分析周期时间过长的原因多种多样：

• 数据团队内部团队合作不力

• 数据组织内各小组之间缺乏协作

• 等待IT处置或配置系统资源

• 正在等待访问数据

• 缓慢而谨慎地移动以避免质量不佳

• 需要批准，例如来自影响审查委员会

• 不灵活的数据架构

• 流程瓶颈

• 以前部署的技术债务

• 造成计划外工作的质量差

延迟分析周期时间的障碍

尽管其中一些挑战令人生畏，但一些数据组织已经使用DataOps实现了快速的循环时间和无可挑剔的质量。例如，制药巨头Celgene将周期时间提高了一个数量级，每个数据工程师可以支持12倍的模式更改数量和24倍的数据分析师数量。虽然行业内数据错误的中位数为每月3-10个，但Celgene遇到的错误或未达到SLA的情况非常少。

DataOps组织是什么样子的？

数十或数百个数据源被整合到一个数据湖中，经过一系列复杂的转换，并通过分析图表和图表推送给用户——所有这些都是在自动编排下进行的。自动化测试验证进入系统的数据以及每个转换步骤的输入、输出和业务逻辑。来自所有这些过程控制的状态、警告和故障警报，以实时传递给数据团队。

测试还实现了一条虚拟Andon线，以在出现致命错误时停止数据源。数据错误实际上从未进入数据分析管道，处理错误在破坏分析之前会在管道中间被捕获。数据管道的质量和正常运行时间KPP（关键性能参数）急剧上升，远高于目标。由于错误导致的计划外工作减少了99%以上。以前用于操作、验证和修复数据管道的所有低效手动工作都被重新部署到更高附加值的活动中。数据组织不再依赖希望和英雄主义。

开发新分析的流程和工作流程得到了简化，并无缝运行。目标操作环境在虚拟工作空间中被抽象和复制，从而提高了测试的准确性、可重复性和分析的可移植性，周期时间从几个月缩短到几天或几小时。

DataOps利用流程和工作流自动化来改善和促进团队内部以及数据组织中各小组之间的沟通和协调。DataOps将数据分析管道重组为服务（或微服务），创建一个强大、透明、高效、可重复的分析流程，统一所有开发和运营工作流。它使团队能够根据适合其工具链的迭代节奏独立工作，然后通过最少的手动步骤，将他们的工作整合为一个统一的整体，交付给客户。

DataOps对于数据团队的重要性不言而喻，智领云云原生DataOps，云原生技术下的DataOps方法论实践，以云原生的方式在平台上运行大数据应用，使数据不再孤立地分布于多个云的孤岛中，从而可以从任何地方流畅安全地进行移动，并以一致、整体的方式管理数据从准备到报表阶段的整个生命周期。

目前，作为国内云原生大数据核心技术的先行者和倡导者，智领云自主研发的Kubernetes Data Platform（简称KDP），作为市场上首个可完全在Kubernetes上部署的容器化云原生大数据平台，深度整合了云原生架构的优势，将大数据组件及数据应用纳入Kubernetes管理体系，标准化系统管理，提升系统运行效率，降低运维成本，消除应用孤岛及数据孤岛，解决传统Hadoop大数据平台在部署、运维，运行效率上由于架构限制带来的难点。

扫码关注云原生大数据平台KDP

- FIN -       

更多精彩推荐

• 运维痛哭流涕：老板，资源共享就是难！加机器还得被嫌弃？

• 一图秒懂！从传统大数据平台到云原生大数据平台，再到云原生K8s大数据平台

• 案例｜每秒处理能力从200万增长至500万，农业大数据平台云原生升级之路

• 案例｜汽车金融大数据平台之云原生技术：实现高可用、高灵活、高扩展性

• 智领云KDP为什么称为首款云原生大数据平台？

👇点击阅读原文，了解更多详情。