上回书到,越来越多的企业注意到了DataOps的理念,并在积极的尝试和实践。但还有更多的企业在观察和思考“我们为什么要去实践DataOps?”
请允许我们引用莎翁的一段话作为开头,也请诸位一起来思考一下:DataOps是 To be 还是 NOT to be。
To be, or not to be: that is the question: Whether it`s nobler in the mind to suffer the slings and arrows of outrageous fortune, Or to take arms against a sea of troubles, And by opposing end them?
发展
电子化存储阶段
20世纪60年代开始。依托于文件系统和磁盘等技术,使得数据可以进行长期保存。但在这一阶段效率是较低的。
结构化数据管理
20世纪80年代开始。依托于数据库系统,实现了对结构化数据的存储,以此为基础支撑了各类业务的开展,百花齐放。实现了一定程度上的共享性,支持了数据灵活的增删改查。
数据分析阶段
20世纪90年代开始。随着数仓技术的成熟与企业管理需求的增长。企业管理者依托于数据仓库来实现对数据的汇总、分析,从而支撑管理决策。
海量数据管理阶段
21世纪10年代开始。大数据与人工智能飞速发展。数据的战略地位越来越高,更多的企业认识到数据同样是企业的资产。各类数据库的技术越发成熟,存储的成本逐渐降低,使得各类数据都有被存储、分析的需求,除了关注历史,企业还要对未来进行预测。
挑战
毫无疑问,随着互联网、IT等技术的发展,数据的增长是爆发式的,从而倒逼着数据处理的技术不断发展,进而又产生了更多的数据。在一轮轮的技术浪潮中,企业管理者的管理从经验导向演进为数据导向。这无疑使得企业的发展更为成熟更为科学,也同样让我国的企业更具有国际竞争力。
但在这一轮数据浪潮中,企业随着数据能力的建设发展,越来越多的问题也涌现出来。例如:
- 数据孤岛林立
- 数据建设维护高成本
- 数据准备阶段低效
- 数据的“可用不可信”等问题
Experian在2019的全球数据管理调查报告中更是直言,89%的企业难以管理数据。
转机
DataOps的适时出现可以说是必然的。DataOps以其敏捷化、精益化、自动化、智能化和可信等特点,对数据的全生命周期进行了一次“洗礼”。DataOps的出现可以说就是为了突破当前企业所遇到的数据瓶颈而生的。
DataOps通过对整个数据过程的重构,实现了
- 对现有(新增)数据源进行有效的集成(不论是物理集中还是逻辑集中)
- 合理弹性的数据存算资源配置
- 随时预备的安全的离线、实时以及数据科学开发环境
- 灵活的数据编排以及可信的数据质量等
这些特性都让企业不论从效率还是质量上都得到了显著的提升,同时也大幅降低了人力与物力的成本,进而打通数据生命的“任督二脉”。
未来
回到我们开头的问题,对于是否要践行DataOps,一方面要取决于企业当前的发展阶段与未来业务的发展需求,另一方面我们也要明白DataOps的建设不是一蹴而就的,既不要担心输在起跑线上,也不要因为一时半刻未见效而放弃。
中国信通院当下正联合工商银行、招商银行、农业银行、平安银行、浦发银行、南京银行、交通银行信通卡中心、长亮科技、联通数科、新大陆、亚信科技、阿里云、腾讯云、新炬网络、中软国际、浩鲸科技、科杰科技、海南数造、美亚柏科、深算院、数梦工场、网易、新华三、海尔等30余家单位对DataOps制定相关的行业标准体系。未来我们将结合中国的数据发展情况,打造一套适合我国数据行业发展的DataOps体系。
结尾让我们引用斯大林在1931年一次名为《论经济工作人员的任务》的演说内容:“人们有时问:不能稍微放慢速度,延缓进展吗?不,不能,同志们!决不能减低速度!恰恰相反,必须竭力和尽可能加快速度。我们对苏联工人和农民所负的义务要求我们这样做。我们对全世界工人阶级所负的义务要求我们这样做。延缓速度就是落后。而落后者是要挨打的。但是我们不愿意挨打。不,我们绝对不愿意!”
那么您的企业是否已经开始践行DataOps了呢?欢迎加入我们,一起分享交流DataOps的实践经验、探讨组织遇到的切实问题。