Modelops知多少

ModelOps 专注于模型全生命周期的端到端管理，目的是解决模型工作流中出现的种种问题。

ModelOps中的model

Gartner 认为 ModelOps 应面向人工智能与决策模型，决策模型包括机器学习、知识图谱、规则、优化、语言学和基于 Agent 的模型等，是一个比较宽泛的定义。
正因为如此，ModelOps 中的 Model 不局限于 MLOps 中的 Machine Learning，也不局限于 AI 中的 Artificial Intelligence，因为 ML 或 AI 都只是高级模型中的一种。事实上，国内大部分企业的大部分时间在使用的都是更基础的决策模型，而由于种类各异、部署环境也各不相同，这些基础决策模型的载体与流程反而是缺乏重视的，这也就是在 MLOps 的基础上提出 ModelOps 这一概念的原因之一。

ModelOps中的Operations

涉及到算法工程师工作流程，从理解数据、准备数据、开发模型、评估、部署、辅助决策、监控

从全局看，打通上述 Operations 的全流程是解决模型资产管理、模型稳定性、模型风险、模型持续运营等问题的大前提，由此，才能够真正提升机器学习、AI 等其他决策模型的开发与运行服务效率。

ModelOps对比DevOps

DevOps 源于软件工程，是一种强调软件开发、IT 运维及质量保障沟通合作的管理方式，通过自动化软件交付与架构变更的流程，使得软件的构建、测试、发布更加快捷、频繁、可靠。然而，DevOps 主要面向业务软件，而 ModelOps 面向的是决策模型。对于 ModelOps 来说，针对模型“优化迭代”的管理是经久不衰的主旋律，这是由于模型具备以下特质：
1、模型的输出在大部分场景没有最优的概念，且随着数据的变化、业务的变化，天生需要不断迭代；
2、模型的输入是数据流，数据会随着业务变化，且数据的积累反过来可以指导模型迭代；
3、模型的效果评价在大部分场景下是个异步的动作，异步的周期可能很长，模型效果数据的获取会指导模型的选择与模型的优化；
4、模型的研发过程会伴随着特殊的三要素：数据、镜像、算力；
5、模型与模型之间可能存在依赖关系；
6、模型经常用于决策辅助，所以生产模型的过程也需要作为成果的一部分被考虑。
另一方面，DevOps 缺乏对于“优化迭代”的关注，针对业务软件，DevOps 的全流程到“交付”步就几乎停止了。可以说，ModelOps 是 DevOps 在面向决策模型的发展与更新时衍生出的新体系、新理念、新技术。

2019年6月，ModelOps 的提出者 Hummer 与 Muthusamy 对其既往观点进行了扩展，他们认为，应将 ModelOps 视作一个基于云的框架或平台。经过各种探索，概括地说，ModelOps 概念的具象实现是建立自动化、标准化、流程化、可视化的模型统一运营管理平台。

开源平台

ModelWhale
北冥实验室