MLOps是近年很常出现的名词,它是ML(机器学习)与DevOps(开发与维运)的结合,指的是从AI模型训练到上线的一套完整ML工作流。若要成为专业的MLOps工程师,需要具备怎样的技能?
MLOps工程师需要怎样的技能?
MLOps工程师需要具备坚实的coding能力,以及ML专业知识,包含scikit-learn、Tensorflow、Keras等ML框架的经验。
此外,MLOps工程师也要有管道建立、扩展ML,以及将模型带到应用场域的经验;还要有帮助组织落实构架、系统等能力,以确保模型的顺利部署。
若要成功部署ML模型,很大程度取决于这两个关键因素:代码、数据。MLOps工程师需要了解这两者的关系。数据是真实世界的数据,会不断变化;代码则是在受控的环境中,开发出来的构架与系统,而弥合数据与代码的差距,是ML流程的重要挑战。
另外,企业ML的应用是为了满足商业需求,因此MLOps工程师也需要注意业务相关的KPI。这类KPI需要密切追踪,并借此优化ML模型,确保ML的投资能带来足够的回报。
9本MLOps书籍帮工程师快速上手
ML、DevOps都是专业领域,而结合两者的MLOps更是高强度的专业,工程师需要具备数据分析、模型开发、测试、整合、部署、维运等知识。外媒Analytics India Magazine整理9本2021年度的MLOps书籍,给工程师们参考:
1、Machine Learning Engineering
此书是目前最完整的应用人工智慧书籍之一,内有大规模建构可靠机器学习解决方案的最佳实践和设计模式。
2、ML Ops: Operationalizing Data Science
许多分析与ML模型并未进入生产阶段,而此书解说导入ML的四步骤:建构、管理、部署/整合、监控,帮助读者导入ML模型。
3、Building Machine Learning Powered Applications
此书分为四大部分,分别为如何规划ML应用,如何建立ML模型,如何改进模型,以及部署与监控策略,协助读者打造ML驱动的应用程序。
4、Building Machine Learning Pipelines
通过本书,读者能学习如何使用TensorFlow生态系,实现机器学习管道自动化。
5、Practical MLOps
这本书带读者了解什么是MLOps,以及它与DevOps的差别,并解释如何操作ML模型,是MLOps工具与方法的入门书。
6、Introducing MLOps
通过本书,读者能理解MLOps的关键概念,有助于操作ML模型,并随着时间的推移优化模型。
7、Beginning MLOps with MLFlow: Deploy Models in AWS SageMaker,Google Cloud,and Microsoft Azure
本书涵盖MLFlow以及将MLOps整合到现有代码中的方法,以追踪指标、参数、图形和模型。
8、What Is MLOps?
本书介绍数据科学–ML–AI项目的生命周期,涵盖ML模型的建构,AI项目生命周期的监测等。
9、Engineering MLOps
本书提供真实的案例,分享深入的MLOps知识,以帮助读者写程序,训练强健和可扩展的ML模型,并建构ML管道,用以训练并部署模型。
科技不断发展,为了赶上市场需求,许多工程师一直在努力学习最新的程序、开发等技术。MLOps是近年快速发展的领域,带给工程师挑战,但也带来新的职涯发展机会。