DataOps 旨在缩短整个数据分析的周期。它的主要使用对象是数据应用开发人员,包括数据工程师和数据科学家,目标是使数据的持续集成、持续交付,打造”数据流水线”,提高数据响应时效。
数据中台:强调的是数据的统一管理和避免重复开发,是数据能力的抽象、共享和复用;
DataOps:强调的是数据应用的开发和运维效率,就像DevOps 解放了开发人员的生产力一样,DataOps 希望通过提供一整套工具和方法论,来让数据应用的开发和管理更加高效;
DataOps 旨在缩短整个数据分析的周期。它的主要使用对象是数据应用开发人员,包括数据工程师和数据科学家。因此,从搭建基础架构到使用数据应用的结果,通常需要实现以下功能。
·部署:包括基础架构和应用程序。无论底层硬件基础设施如何,配置新系统环境都应该快速而简单。部署新应用程序应该花费几秒而不是几小时或几天时间。
·运维:系统和应用程序的可扩展性、可用性、监控、恢复和可靠性。数据应用开发人员不必担心运维,可以专注于业务逻辑。
·治理:数据的安全性、质量和完整性,包括审计和访问控制。所有数据都在一个支持多租户的安全环境中以连贯和受控的方式进行管理。
·可用:用户应该能够选择他们想要用于数据开发和分析的工具,随时拿到他们可用的数据,并根据需要轻松开发和运行数据分析应用。应将对不同分析、ML、AI
·框架的支持整合到系统中。
·生产:通过调度和数据监控,可以轻松地将分析程序转换为生产应用,构建从数据抽取到数据分析的生产级数据流水线,并且数据应该易于使用并由系统管理。
DataOps 强调的是战术层面的优化,如何让各个开发和使用实际数据应用的人员更加高效。可以说数据中台描述了最终的目标,而 DataOps 提供了一条实现这个目标的最佳路径。