MLflow【部署 01】MLflow官网Quick Start实操安装、模型训练、数据预测（一篇学会部署使用MLflow）

已于 2024-02-23 10:13:01 修改
阅读量3k 收藏 39
点赞数 31
分类专栏： .... ... .. . AI # ... .. . Scheduler 文章标签： 机器学习 工作流 任务调度 流水线工具 MLflow
于 2024-02-22 17:06:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39168541/article/details/136238643
版权
本文介绍了如何在5分钟内使用MLflow进行模型部署，包括版本选择、环境配置、追踪服务器启动、模型训练与日志、注册与加载，以及使用Python函数进行推理。详细步骤从安装开始，到在Iris数据集上训练模型并记录到MLflowUI展示。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一篇学会部署使用MLflow


Learn in 5 minutes how to log,register,and load a model for inference. 在5分钟内学习如何记录、注册和加载模型用于推理。

1.版本及环境

本文基于2.9.2版本进行说明，内容来自官方文档：https://www.mlflow.org/docs/2.9.2/getting-started/intro-quickstart/index.html，测试环境说明：

# 1.服务器系统版本
CentOS Linux release 7.9.2009 (Core)

# 2.使用conda创建的虚拟环境【conda create -n mlflow python=3.8】
(mlflow) [root@tcloud /]# python -V
Python 3.8.18

2.官方步骤

Step 1 - Get MLflow

# 官方步骤
pip install mlflow

# 实际操作【限制版本 否则会安装最新版本】
pip install mlflow==2.9.2

Step 2 - Start a Tracking Server

# 官方步骤
mlflow server --host 127.0.0.1 --port 8080
# 启动日志【删除了时间信息】
[5027] [INFO] Starting gunicorn 21.2.0
[5027] [INFO] Listening at: http://127.0.0.1:8080 (5027)
[5027] [INFO] Using worker: sync
[5030] [INFO] Booting worker with pid: 5030
[5031] [INFO] Booting worker with pid: 5031
[5032] [INFO] Booting worker with pid: 5032
[5033] [INFO] Booting worker with pid: 5033

# 实际操作【使用的是腾讯云服务器】
mlflow server --host 0.0.0.0 --port 9090
# 启动日志【删除了时间信息】
[13020] [INFO] Starting gunicorn 21.2.0
[13020] [INFO] Listening at: http://0.0.0.0:9090 (13020)
[13020] [INFO] Using worker: sync
[13023] [INFO] Booting worker with pid: 13023
[13024] [INFO] Booting worker with pid: 13024
[13025] [INFO] Booting worker with pid: 13025
[13026] [INFO] Booting worker with pid: 13026
  • –host 0.0.0.0 to listen on all network interfaces (or a specific interface address).

启动后，访问http://<host>:<port>可查看到页面：

image.png

如果使用的是 Databricks 未提供的托管 MLflow 跟踪服务器，或者运行本地跟踪服务器，请确保使用以下命令设置跟踪服务器的 URI：

import mlflow

mlflow.set_tracking_uri(uri="http://<host>:<port>")

如果未在运行时环境中设置此项，则运行将记录到本地文件系统。

Step 3 - Train a model and prepare metadata for logging

在本部分中，我们将使用 MLflow 记录模型。这些步骤的快速概述如下：

  • 加载并准备用于建模的 Iris 数据集。
  • 训练逻辑回归模型并评估其性能。
  • 准备模型超参数并计算日志记录指标。

官方代码如下：

import mlflow
from mlflow.models import infer_signature

import pandas as pd
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score


# Load the Iris dataset
X, y = datasets.load_iris(return_X_y=True)

# Split the data into training and test sets
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# Define the model hyperparameters
params = {
    "solver": "lbfgs",
    "max_iter": 1000,
    "multi_class": "auto",
    "random_state": 8888,
}

# Train the model
lr = LogisticRegression(**params)
lr.fit(X_train, y_train)

# Predict on the test set
y_pred = lr.predict(X_test)

# Calculate metrics
accuracy = accuracy_score(y_test, y_pred)

Step 4 - Log the model and its metadata to MLflow

这个步骤将使用我们训练的模型、为模型拟合指定的超参数，以及通过评估模型对要记录到 MLflow 的测试数据的性能来计算的损失指标。步骤如下：

  • 启动 MLflow 运行上下文以启动新运行，我们将模型和元数据记录到该运行。
  • 记录模型参数和性能指标。
  • 标记运行以便于检索。
  • 在记录（保存）模型时，在 MLflow 模型注册表中注册模型。

官方代码如下：

# Set our tracking server uri for logging
mlflow.set_tracking_uri(uri="http://127.0.0.1:8080")

# Create a new MLflow Experiment
mlflow.set_experiment("MLflow Quickstart")

# Start an MLflow run
with mlflow.start_run():
    # Log the hyperparameters
    mlflow.log_params(params)

    # Log the loss metric
    mlflow.log_metric("accuracy", accuracy)

    # Set a tag that we can use to remind ourselves what this run was for
    mlflow.set_tag("Training Info", "Basic LR model for iris data")

    # Infer the model signature
    signature = infer_signature(X_train, lr.predict(X_train))

    # Log the model
    model_info = mlflow.sklearn.log_model(
        sk_model=lr,
        artifact_path="iris_model",
        signature=signature,
        input_example=X_train,
        registered_model_name="tracking-quickstart",
    )

Step 5 - Load the model as a Python Function (pyfunc) and use it for inference

记录模型后，我们可以通过以下方式执行推理：

  • 使用 MLflow 的 pyfunc 风格加载模型。
  • 使用加载的模型对新数据运行 Predict。

官方源码如下：

# Load the model back for predictions as a generic Python Function model
loaded_model = mlflow.pyfunc.load_model(model_info.model_uri)

predictions = loaded_model.predict(X_test)

iris_feature_names = datasets.load_iris().feature_names

result = pd.DataFrame(X_test, columns=iris_feature_names)
result["actual_class"] = y_test
result["predicted_class"] = predictions

result[:4]

Step 6 - View the Run in the MLflow UI

官方带注释的示例：


实际执行示例：

image.png
官方运行详情图片：


实际运行详情图片：

image.png
查看生成的模型：

image.png
恭喜你完成了 MLflow 跟踪快速入门！

3.模型使用

模型文件可以从MLflow的页面上下载，调用代码如下：

import pickle

from sklearn import datasets
from sklearn.model_selection import train_test_split

# 使用鸢尾数据集
# Load the Iris dataset
X, y = datasets.load_iris(return_X_y=True)
# Split the data into training and test sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 使用自己收集的数据
# X_test = [[5.1, 3.5, 1.4, 0.2], [7, 3.2, 4.7, 1.4], [5.8, 2.7, 5.1, 1.9], [5, 3.4, 1.5, 0.2]]

# 加载模型文件
with open('model.pkl', 'rb') as f:
    model = pickle.load(f)

# 预测类别
predict_res = model.predict(X_test)
print(predict_res)
# 类别的概率值
predict_proba_res = model.predict_proba_res(X_test)
print(predict_proba_res)

运行结果：

[1 0 2 1 1 0 1 2 1 1 2 0 0 0 0 1 2 1 1 2 0 2 0 2 2 2 2 2 0 0]
[[3.78540528e-03 8.27210036e-01 1.69004558e-01]
 [9.46727168e-01 5.32726324e-02 1.99986485e-07]
 [8.72385678e-09 1.55691543e-03 9.98443076e-01]
 [6.43448541e-03 7.92126720e-01 2.01438794e-01]
 [1.44095504e-03 7.74344678e-01 2.24214367e-01]
 [9.55768195e-01 4.42316282e-02 1.76849618e-07]
 [7.76122925e-02 9.08082089e-01 1.43056184e-02]
 [1.61401761e-04 1.55690379e-01 8.44148220e-01]
 [2.20736358e-03 7.62834309e-01 2.34958328e-01]
 [2.83154097e-02 9.45798683e-01 2.58859075e-02]
 [4.39679072e-04 2.43281233e-01 7.56279088e-01]
 [9.68307933e-01 3.16919884e-02 7.80649442e-08]
 [9.72933931e-01 2.70660354e-02 3.33361479e-08]
 [9.62096918e-01 3.79029707e-02 1.10921553e-07]
 [9.79272618e-01 2.07273173e-02 6.47441645e-08]
 [4.54276481e-03 7.12605196e-01 2.82852039e-01]
 [7.22631014e-06 2.42037680e-02 9.75789006e-01]
 [2.73294494e-02 9.47693264e-01 2.49772862e-02]
 [8.23322627e-03 8.31120340e-01 1.60646433e-01]
 [1.41951887e-05 3.59416995e-02 9.64044105e-01]
 [9.64370490e-01 3.56293171e-02 1.92868716e-07]
 [1.31386507e-03 3.99100235e-01 5.99585900e-01]
 [9.61627956e-01 3.83717831e-02 2.61167666e-07]
 [1.85433787e-05 4.58639912e-02 9.54117465e-01]
 [1.63757839e-06 2.58619974e-02 9.74136365e-01]
 [9.32586134e-05 1.05067524e-01 8.94839218e-01]
 [8.68953654e-06 5.83511361e-02 9.41640174e-01]
 [4.29911372e-06 1.88516061e-02 9.81144095e-01]
 [9.66838022e-01 3.31618418e-02 1.35794380e-07]
 [9.56304600e-01 4.36951677e-02 2.32419972e-07]]

4.总结

  • 安装简单
  • 快速入门不难
  • 能够灵活应用需要进行更多的学习

5.更新日志

  • 20240223 添加模型加载、数据预测代码
使用 Databricks+Mlflow 进行机器学习模型的训练和部署
阿里云云栖号
06-22 1844
介绍如何使用Databricks和MLflow搭建机器学习生命周期管理平台，实现从数据准备、模型训练、参数和性能指标追踪、以及模型部署的全流程。
MLflow【部署 01】MLflow官网Quick Start实操安装、模型训练、数据预测（一篇学会部署使用MLflow）_mlflow 部署
2401_84302628的博客
05-17 665
还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！【完整版领取方式在文末！！内容实在太多，不一一截图了。
MLFlow 入门(Model管理，生命周期管理)
Damien_J_Scott的博客
11-24 3293
MLflow是一个开源平台，专门为了帮助机器学习的从业者和团队处理机器学习过程中的复杂性而设计的。MLflow关注机器学习项目的完整生命周期，确保每个阶段都是可管理的、可追溯的和可复现的。MLflow目前提供了几个关键的组件：MLflow AI Gateway：通过安全、简单的API与最先进的LLM进行交互。MLflow LLM Evaluate：简化LLM和提示的评估。MLflow Tracking：记录和查询实验：代码、数据、配置和结果。
MLflow 模型注册表和 MinIO
最新发布
MinIO
03-20 800
已注册的模型是生产环境的候选项。您应该在实验中注册性能最佳的模型。注册模型后，您可以添加元数据，例如标签和描述。也可以在 Registry 中对模型进行版本控制;每个版本都有自己的描述和标签。在旧版本的 MLflow 中，可以指定模型的阶段以跟踪其状态。允许的阶段包括 None、Stage、Production 和 Archive。在本文中，我将展示如何使用最新版本的 MLflow 注册模型，在撰写本文时为 2.20.3。本文中显示的所有代码都可以在这里找到。
2024年最全寒假学习第11天--中间件漏洞--vulhub--thinkphp全系列，2024年最新vue总结来了
2401_84545016的博客
05-05 1143
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。网安所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。注意上面的第一个index是模块，第二个index是方法，name是操作名，后面的是操作。
mlflow_server：Mlflow docker部署
02-14
mlflow_server MLFlow Docker部署
MLflow快速入门
吃果冻不吐果冻皮
05-16 4450
安装 使用一下命令即可安装 MLflow： pip3 install mlflow # 或者 conda install mlflow 除此之外，要使用某些 MLflow 模块和功能（如：ML 模型持久化/推理等），您可能需要安装额外的库。 例如，mlflow.tensorflow 模块需要安装 TensorFlow。 有关详细信息，请参阅额外依赖项。 另外：MLflow skinny（轻量型 MLflow 套件）也需要为某些 MLflow 模块和功能安装额外的依赖项。 例如，mlflow.set_tra
MLflow教程-快速入门
发呆的比目鱼的博客
06-18 2858
MLflow部署
Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）_apache airflow教程
2401_86454712的博客
09-04 1300
【代码】Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）_apache airflow教程。
Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）_apache airflow教程(1)
2401_86454699的博客
09-04 1324
【代码】Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）_apache airflow教程(1)
Airflow【部署 01】Airflow官网Quick Start实操（一篇学会部署Airflow）_apache airflow教程(1)(1)
2401_84971649的博客
05-12 1126
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数网络安全工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《2024年网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上网络安全知识点！真正的体系化！
模型部署的开源机器学习工具 MLflow | 每日工具推荐
XianxinMao的博客
09-18 4622
今天要介绍的工具是 MLflow，该工具可分为 4 个模块，第一个是 MLflow Tracking，用于记录和查询实验结果，包含代码、数据、配置等，第二个是 MLflow Projects，用于打包代码以实现在任意平台上的重复运行，第三个是 MLflow Models，用于在各种各样的环境下部署机器学习模型，第四个是 Model Registry，用于存储、标记、探索、管理模型。 本篇文章不可能介绍完所有模块，所以大家就稍微简单看看吧，我写了什么就看什么吧。 首先我们来运行下面代码，简单体验下 Track
使用MLflow轻松部署大型语言模型：全面指南
ppoojjj的博客
10-01 383
MLflow为大型语言模型的管理和部署提供了强大的工具，结合LangChain模块，开发者可以快速集成LLMs到现有应用中。MLflow官方文档LangChain GitHub页面。
MLflow Docker 部署方案:快速搭建机器学习实验环境
helloaiworld的博客
09-09 717
MLflow Docker 为机器学习工程师提供了一种简单高效的方式来搭建和管理实验环境。一键部署,降低使用门槛集成多个组件,提供完整的实验追踪环境便捷的客户端配置,改善开发体验基于 Docker 的灵活扩展性对于希望快速开始使用 MLflow,或者需要在团队中统一实验环境的场景,MLflow Docker 都是一个值得考虑的选择。它能够帮助数据科学家和机器学习工程师更专注于模型开发和实验,提高工作效率。随着机器学习项目的发展,MLflow Docker 也在不断更新和完善。
MLflow
zhixingheyi_tian的博客
02-22 561
Introduction MLflow is an open source platform to manage the ML lifecycle, including experimentation, reproducibility, deployment, and a central model registry. Components MLflow Tracking: Record and query experiments: code, data, config, and results MLfl
mlflow
real_ilin的博客
04-20 323
main.py # -*- encoding: utf-8 -*- import torch from torch import nn import mlflow import mlflow.pytorch x = torch.tensor([[1.0], [2.0], [3.0]]) y = torch.tensor([[2.0], [4.0], [6.0]]) class Model(n...
MLFlow机器学习管理平台入门教程一览
cjea42103的博客
12-26 1031
什么是mlFlow？ mlFlow是一个支持机器学习生命周期的框架。这意味着它拥有在训练和运行期间监控模型的组件、存储模型的能力，在生产代码中加载模型以及创建管道。 该框架引入...
MLflow机器学习工作流管理使用教程
crazybean_lwb的博客
11-28 7944
MLflow简介 机器学习不是一个单向的pipeline，而是一个迭代的循环。其中包括四大部分：数据预处理、模型训练、模型部署、数据更新。 行业痛点： 数据预处理和模型训练都涉及到参数调整，不同参数对应的代码、不同参数对应的效果只能手动记录，这种方式比较费时费力而且不能保证每次记录都保存下来。 开发模型和模型部署是两个分开的环节，需要大量的沟通工作以及代码改写以及环境的配置，费时费力。 MLflo...
MLFLOW
caoli4608的博客
10-14 247
MLFLOW的整体介绍
我想把训练好的yolov5模型部署到qt上
05-18
将训练好的 YOLOv5 模型部署到 Qt 上，可以分为两个步骤： 1. 将 YOLOv5 模型转换成 Qt 支持的格式。Qt 支持的模型格式包括 TensorFlow Lite、ONNX 和 Caffe。如果你的模型是 PyTorch 的，可以先将其转换为 ONNX 格式，再使用 ONNX 转换器将其转换为 Qt 支持的格式。 2. 在 Qt 中加载模型并进行推理。Qt 提供了一个名为 QML 的框架，可以在其中加载模型并进行推理。使用 QML，你可以轻松地将模型集成到 Qt 应用程序中，并将其与其他 Qt 控件（如按钮、文本框等）一起使用。 以下是一个简单的示例代码，演示了如何在 Qt 中加载 YOLOv5 模型并进行推理： ```qml import QtQuick 2.15 import QtQuick.Controls 2.15 import QtQuick.Layouts 1.12 import QtQuick.Window 2.15 import QtQuick.Dialogs 1.3 import QtQuick.Controls.Material 2.15 import Qt.labs.platform 1.0 import TensorFlowLite 1.0 Page { id: page title: "YOLOv5 Demo" ColumnLayout { id: layout Text { text: "选择要识别的图像:" } FileDialog { id: fileDialog title: "选择图像" nameFilters: ["Images (*.png *.jpg *.bmp)"] selectMultiple: false onAccepted: { image.source = fileUrl.toString() predict(fileUrl.toString()) } } Image { id: image width: 512 height: 512 fillMode: Image.PreserveAspectFit source: "" MouseArea { anchors.fill: parent onClicked: { fileDialog.open() } } } Text { id: prediction text: "" } } TensorFlowLiteModel { id: model modelFilePath: "yolov5.tflite" } function predict(imagePath) { var inputTensor = model.inputTensor(0) var outputTensor = model.outputTensor(0) // Load image into a tensor var imageData = loadImage(imagePath) inputTensor.data = imageData // Run inference model.invoke() // Parse output var predictions = parseOutput(outputTensor) // Display predictions var predictionText = "Predictions:" for (var i = 0; i < predictions.length; ++i) { predictionText += "\n" + predictions[i].class + ": " + predictions[i].confidence } prediction.text = predictionText } function loadImage(imagePath) { // Load image into a tensor var image = Qt.labs.platform.resourceUrl(imagePath).toLocalFile() var imageObject = new Image() imageObject.source = image var canvas = document.createElement("canvas") canvas.width = imageObject.width canvas.height = imageObject.height var ctx = canvas.getContext("2d") ctx.drawImage(imageObject, 0, 0) var imageData = ctx.getImageData(0, 0, imageObject.width, imageObject.height) var imageTensor = new Float32Array(imageData.data.length) for (var i = 0; i < imageData.data.length; i += 4) { imageTensor[i + 0] = imageData.data[i + 0] / 255 imageTensor[i + 1] = imageData.data[i + 1] / 255 imageTensor[i + 2] = imageData.data[i + 2] / 255 } return imageTensor } function parseOutput(outputTensor) { // Parse output tensor var output = outputTensor.data() var numPredictions = output[0] var predictions = [] for (var i = 0; i < numPredictions; ++i) { var classIndex = output[i * 6 + 1] var confidence = output[i * 6 + 2] var x = output[i * 6 + 3] var y = output[i * 6 + 4] var w = output[i * 6 + 5] var h = output[i * 6 + 6] predictions.push({class: classIndex, confidence: confidence, x: x, y: y, w: w, h: h}) } return predictions } } ``` 上述代码中，我们使用 TensorFlowLiteModel 组件加载并运行 YOLOv5 模型。在 predict 函数中，我们将图像加载到输入张量中，并在模型中运行推理。然后，我们解析输出张量，并将预测结果显示在 UI 中。
评论 24
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yuanzhengme.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值