2022年3月12日,由星策开源社区举办了国内首届“DataOps+MLOps Meetup”,活动采用线下参与、腾讯会议、CSDN、51CTO同步直播方式进行。来自第四范式OpenMLDB及ApacheDophinScheduler开源项目核心成员共同带来了一场精彩的技术视听盛宴。回顾视频及地址见文章末尾链接。
活动背景
近几年DevOps在国外的火热程度日渐高涨,同时涌现出了各种Ops,包括DevSecOps,GitOps,AIOps,NoOps,DataOps,MLOps,FeatureOps,ModelOps等等。在这些Ops中DataOps和MLOps在海外市场中的热度一直居高不下,反观国内却还并未兴起,甚至鲜为人知。
基于以上背景,星策社区召开了国内首次“DataOps+MLOps Meetup”,为了让更多工程师了解到DataOps和MLOps是什么,能够干什么,对业务的价值,以及其中的技术难点和相应比较成熟的技术方案都有什么。接下来,将带大家共同回顾本次meetup的主要内容。
议程回顾
Part 1:DataOps+MLOps背景介绍及各类Ops的异同——谭中意
第四范式架构师,开放原子基金会TOC副主席谭中意,在此次meetup中重点介绍了本次活动的背景,DevOps、DataOps、MLOps的概念和各类Ops间的异同之处。
DevOps是将研发与运维联合起来,形成一个DevOps双环,以此打破团队界限,用一种更高效、更流水性的自动化方式来工作,在工程效能领域中非常流行,同时在行业内也衍生出很多创业团队、开源项目以及各类Ops。
这些项目的相同点都是各种Ops任务(Operation)的自动化,都包含相应的流程、工具和角色;不同点是面向不同的领域,涉及不同的角色,以及自动化的任务不同而已。核心还是为了更高效,手段还是自动化。以下是各类Ops的作用、经典工具及使用场景。其中包含本次meetup重点介绍的DataOps领域的DophinScheduler及MLOps领域的OpenMLDB。
DataOps是在数据分析领域,目标是为了提高数据分析的质量并缩短周期,涉及角色包括数据科学家、数据工程师,IT工程师等,任务包括数据搜集,数据ETL,数据可视化等。