DataOps：深刻影响现代数据栈发展

嘉宾 | 代立冬   整理 | 西狩

出品 | CSDN云原生

数字化的时代大潮推动了互联网的发展，云计算、大数据、云原生等技术不断成熟，使数据处理的方式发生变革，现代数据栈也因此开启了“百家争鸣”的新时代。

2022年7月12日，在CSDN云原生系列在线峰会第13期“现代数据栈峰会”上，白鲸开源联合创始人代立冬深入讲解了DataOps中任务编排、数据集成。

为什么是DataOps？

数字化时代

数字化时代的到来，带来了数据量的爆发式增长：

• 全球数据中心流量：每年32ZB；

• 5亿业务数据用户正在不断增长中；

• 200亿台互联设备；

• 超过94%的数据中心流量来自于云端；

• 10亿名工作人员将由AI/ML辅助工作。

伴随着数据的增长，数字化应用的机会空间更加广阔：新的客户获取模式、新的运营体系、新的业务模式、新的产品服务。

与此同时，数据技术也呈现出了多元化发展的趋势，如数据分析和数据可视化、机器学习、流式数据处理、离线数据处理、统计和数据挖掘等。在现代化数据栈中，数据开发者也拥有更多选择。

DataOps的诞生及发展

DataOps基于敏捷、DevOps和统计过程控制等软件开发框架构建，具有以下优势：

• 缩短部署分析解决方案的周期时间；

• 降低数据缺陷；

• 减少解决数据缺陷所需的时间；

• 最大限度地减少数据孤岛。

一句话总结DataOps：它构建了一套能够降低人们使用、利用、分析数据门槛的数据体系，让数据能力平民化。

2014年，Lenny Liebmann提出了DataOps的概念，在《3 reasons why DataOps is essential for big data success》这篇文章中，Lenny提出DataOps是优化数据科学和运营团队之间协作的一些实践集。

2015年，Andy Palmer将这个理念发扬光大，提出了DataOps的四个关键构成：数据工程、数据集成、数据安全和数据质量。

2017年，Jarh Euston把D