什么是MLOps?

一、什么是MLOps?

MLOps是用于数据科学家和专业运维人员之间协作和交流的一系列实践。应用这些实践可以提高质量,简化管理流程,并在大规模生产环境中自动部署机器学习和深度学习模型,更容易使模型与业务需求以及监管要求保持一致。MLOps正在慢慢演变成一种独立的机器学习生命周期管理方法,它适用于整个生命周期——数据收集、模型创建(软件开发生命周期、持续集成/持续交付)、编排、部署、健康、诊断、治理和业务指标。

二、DevOps vs MLOps

DevOps和MLOps具有基本的相似之处,因为MLOps源自DevOps,但它们在执行上完全不同。
1、与DevOps不同,MLOps在本质上更具实验性。数据科学家和机器学习/深度学习工程师必须调整各种功能——超参数、参数和模型——同时还要跟踪和管理数据和代码库以获得可重复的结果。除了所有的努力和工具之外,机器学习和深度学习行业仍然在为实验的可重复性而苦苦挣扎。
2、混合团队组成:在生产环境中,构建和部署模型所需的团队不仅仅由软件工程师组成。在机器学习项目中,团队通常包括数据科学家或机器学习研究人员,他们专注于探索数据分析、模型开发和实验,他们可能不是可以构建生产级服务的经验丰富的软件工程师。
3、测试:除了单元测试和集成测试等常规代码测试之外,测试机器学习系统还涉及模型验证、模型训练等。
4、自动部署:为了提供模型在线预测的服务,您不能只将离线训练的机器学习模型部署。您需要一个多步骤工作流来自动重新训练和部署模型。这个工作流增加了复杂性,因为您需要自动化数据科学家在部署之前手动执行的步骤来训练和验证新模型。
5、由于数据配置文件的不断发展或简单的训练和服务偏差导致系统的生产性能下降:生产中的机器学习模型可能会降低性能,这不仅是由于编程实现未达到最优,还因为数据配置文件的不断发展。与传统软件系统相比,模型可能会以更多方式衰减。
6、监控:生产中的模型需要被监控。同理,构建模型的数据的汇总统计信息也需要被监控,以便您可以在需要时刷新模型。这些统计数据会随着时间而改变,当值偏离预期时,您需要通知或回滚过程。

三、MLOps vs实验跟踪 vs 机器学习模型管理

1、实验跟踪实验跟踪是MLOps的一部分(或一个过程),专注于收集、组织和跟踪不同模型结构(超参数、模型大小、数据拆分、参数等)下多次运行的训练信息。
2、模型管理为确保机器学习模型一致并大规模满足所有业务需求,一个合乎逻辑且易于遵循的模型管理策略至关重要。MLOps方法包括简化模型训练、打包、验证、部署和监控的过程,通过这种方式,您可以始终端到端地运行机器学习项目。通过为模型管理设置清晰、一致的方法后,组织可以第一主动解决常见的业务问题(例如合规性);第二通过跟踪数据、模型、代码和模型版本以支持可复现的模型;第三用可重复的配置打包和交付模型,以支持可复用性。

四、为什么MLOps很重要?

MLOps是基础。机器学习可帮助个人和企业部署解决方案,通过创建更高效的工作流程、利用数据分析进行决策和改善客户体验来解锁以前未开发的收入来源、节省时间并降低成本。如果没有一个可靠的框架可以遵循,这些目标则很难实现。使用MLOps自动化模型开发和部署,可以使产品进入时间更快、运营成本更低,它可以帮助管理人员和开发人员在决策中更具灵活性和战略性。无论有什么限制,不管是敏感数据、资源少、预算少等等,MLOps可作为地图,指引个人、小型团队甚至企业实现目标。您可以决定您希望的地图大小,因为MLOps具有灵活性的实践,您可以尝试不同的设置,来找到最适合您的设置

参考链接:https://www.zhihu.com/question/561901022/answer/2749588006

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值