【OpenMMLab】MMPretrain 代码教程

已于 2023-06-08 00:41:19 修改
阅读量928 收藏 6
点赞数
分类专栏： OpenMMLab 文章标签： 计算机视觉 深度学习 人工智能
于 2023-06-07 22:05:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DplusC/article/details/131093937
版权

系列文章目录

第一课：【OpenMMLab】OpenMMLab概述
第二课：【OpenMMLab】人体姿态估计、关键点检测与MMPose
第三课：【openMMLab】MMPose 代码教程
第四课：【OpenMMLab】深度学习预训练与 MMPreTrain

前言

MMPretrain 是一个全新升级的预训练开源算法框架，旨在提供各种强大的预训练主干网络，并支持不同的预训练策略。
MMPretrain 源自 MMClassification 和MMSelfSup，并开发了许多新功能。预训练阶段对于视觉识别至关重要，凭借丰富而强大的预训练模型，能够用于改进各种下游视觉任务。 代码库旨在成为一个易于使用和用户友好的代码库，并简化学术研究活动和工程任务。
博客视频：https://www.bilibili.com/video/BV1PN411y7C1
代码仓库：https://github.com/open-mmlab/mmpretrain
文档教程：https://mmpretrain.readthedocs.io/en/latest

一、环境安装

关于创建虚拟环境，安装pyorch，安装mmcv环境可以参考 【openMMLab】MMPose 代码教程。本次代码教程主要基于ipython进行讲解。

安装ipython

ipython 调用的是 虚拟环境中的库，所以要在配置好的虚拟环境中安装ipython

# 激活 conda 虚拟环境
conda activate your_env_name
# 安装
pip install ipython
# 打开 ipython
# 简单验证 ipython 的安装
ipython

In [1]: import torch

In [2]: torch.__version__
Out[2]: '2.0.1+cu118'

In [3]: torch.cuda.is_available()
Out[3]: True

In [4]: exit()

下载和安装mmpretrain

# 下载 mmpretrain
git clone https://github.com/open-mmlab/mmpretrain
# 安装 mmpretrain
cd mmpretrain
pip install -e .

mmpretrain API

详细介绍在代码的注释中

# 打开 ipython
ipython

In [1]: import mmpretrain

# 查看 mmpretrain 的版本
In [2]: mmpretrain.__version__
Out[2]: '1.0.0rc8'

# 从mmpretrain中引入一些高阶的api, 
# 如get_model, list_models, inference_model 分别用于模型的获取，列举和推理
In[3]: from mmpretrain import get_model, list_models, inference_model

# 获取 图像分类 Image Classification 相关的，含有 resnet18 的模型
In [4]: list_models(task='Image Classification', pattern='resnet18')
out[4]: ['resnet18_8xb16_cifar10', 'resnet18_8xb32_in1k']

# 获取 图像描述 Image Caption 相关的，含有clip的模型
In [5]: list_models(task='Image Caption', pattern='blip')
Out[5]: ['blip-base_3rdparty_caption', 'blip2-opt2.7b_3rdparty-zeroshot_caption']

# list_models 返回的名称是 mmpretrain 中统一使用的模型名称标识
# 可以直接使用这些名称获取对应模型
# 如 ‘resnet18_8xb16_cifar10’ 是 resnet18 在 cifar10 上训练好的模型
# ！！！！get_model 得到的模型是没有与训练权重的模型！！！！！！
In [6]: model = get_model('resnet18_8xb16_cifar10')

# 模型的类型是 ImageClassifier， 模型主干为 ResNet_CIFAR
In [7]: type(model)
Out[7]: mmpretrain.models.classifiers.image.ImageClassifier

In [8]: type(model.backbone)
Out[8]: mmpretrain.models.backbones.resnet_cifar.ResNet_CIFAR

# 使用 inference_model 进行模型推理
# get_model 获得的模型并没有加载模型权重，得到的结果是混乱的，我们需要加载对应的模型在对应数据集上的权重
# 可以使用统一的名称，直接推理，会自动加载对应的预训练权重
# show=True 会展示推理结果，如下图所示
In [9]: inference('blip-base_3rdparty_caption', 'demo/cat-dog.png', show=True)

In [10]: exit()

在这里插入图片描述

MMPretrain 微调实验

基于MMPretrain，在分类数据集上进行ResNet18的微调实验

准备数据集

这是一个标准的分类数据集，不需要编写额外的数据集加载逻辑；如果需要支持一些特殊格式的数据集，可以在MMPretrain的基础上开发一个新的数据集类。

配置文件

下面介绍 MMPretrain 的配置文件，这也是openmmlab算法库通用的配置文件格式。这是因为MMPretrain中已经集成了很多算法和数据集的支持，对于本次博客使用的微调任务，基本上不需要编写各个组件的代码，直接修改配置文件，配置各个环节的参数即可。
configs文件夹集成了各类算法，包括有监督、无监督及多模态算法的预设。
openmmlab算法库支持进行各种实验，如保存模型参数，分布式训练，训练中断的恢复等等。MMPretrain中已经提供了一整套的训练代码，用户只需修改config文件配置参数，进行各种实验。
本次实验是对ResNet50分类模型进行微调，所以可以参考MMPretrain预设的ResNet50的配置文件

# 查看resnet相关的配置文件
ls configs/resnet
metafile.yml                resnet18_8xb16_cifar10.py             resnet50_32xb64-warmup-lbs_in1k.py   resnet50_8xb256-rsb-a2-300e_in1k.py     resnet50_8xb32-fp16_in1k.py   resnetv1c152_8xb32_in1k.py
README.md                   resnet18_8xb32_in1k.py                resnet50_8xb128_coslr-90e_in21k.py   resnet50_8xb256-rsb-a3-100e_in1k.py     resnet50_8xb32_in1k.py        resnetv1c50_8xb32_in1k.py
resnet101_8xb16_cifar10.py  resnet34_8xb16_cifar10.py             resnet50_8xb16_cifar100.py           resnet50_8xb32-coslr_in1k.py            resnet50_8xb32-lbs_in1k.py    resnetv1d101_8xb32_in1k.py
resnet101_8xb32_in1k.py     resnet34_8xb32_in1k.py                resnet50_8xb16_cifar10.py            resnet50_8xb32-coslr-preciseBN_in1k.py  resnet50_8xb32-mixup_in1k.py  resnetv1d152_8xb32_in1k.py
resnet152_8xb16_cifar10.py  resnet50_32xb64-warmup-coslr_in1k.py  resnet50_8xb16-mixup_cifar10.py      resnet50_8xb32-cutmix_in1k.py           resnet50_8xb8_cub.py          resnetv1d50_8xb32_in1k.py
resnet152_8xb32_in1k.py     resnet50_32xb64-warmup_in1k.py        resnet50_8xb256-rsb-a1-600e_in1k.py  resnet50_8xb32-fp16-dynamic_in1k.py     resnetv1c101_8xb32_in1k.py

# 选择在imagenet1k上预训练的resnet50  
# _base_ 中的文件为继承的父文件
cat resnet50_8xb32_in1k.py 
_base_ = [
    '../_base_/models/resnet50.py', '../_base_/datasets/imagenet_bs32.py',
    '../_base_/schedules/imagenet_bs256.py', '../_base_/default_runtime.py'
]

model 配置文件

# 打印 ../_base_/models/resnet50.py
cat ../_base_/models/resnet50.py
# model settings
model = dict(
    type='ImageClassifier',
    backbone=dict(
        type='ResNet',
        depth=50,
        num_stages=4,
        out_indices=(3, ),
        style='pytorch'),
    neck=dict(type='GlobalAveragePooling'),
    head=dict(
        type='LinearClsHead',
        num_classes=1000,
        in_channels=2048,
        loss=dict(type='CrossEntropyLoss', loss_weight=1.0),
        topk=(1, 5),
    ))

由于只需要修改分类的数量，我们可以加载现有的ResNet50配置后，再修改字典信息即可。

from mmengine import Config
# 加载配置文件
cfg = Config.fromfile('configs/resnet/resnet50_8xb32_in1k.py')
# 查看模型的当前配置
print(cfg.model)
# 修改字典信息 即分类数量
cfg.model.head.num_classes=2
print(cfg.model)

dataset 配置文件

# dataset settings
dataset_type = 'ImageNet'
data_preprocessor = dict(
    num_classes=1000,
    # RGB format normalization parameters
    mean=[123.675, 116.28, 103.53],
    std=[58.395, 57.12, 57.375],
    # convert image from BGR to RGB
    to_rgb=True,
)

train_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(type='RandomResizedCrop', scale=224),
    dict(type='RandomFlip', prob=0.5, direction='horizontal'),
    dict(type='PackInputs'),
]

test_pipeline = [
    dict(type='LoadImageFromFile'),
    dict(type='ResizeEdge', scale=256, edge='short'),
    dict(type='CenterCrop', crop_size=224),
    dict(type='PackInputs'),
]

train_dataloader = dict(
    batch_size=32,
    num_workers=5,
    dataset=dict(
        type=dataset_type,
        data_root='data/imagenet',
        ann_file='meta/train.txt',
        data_prefix='train',
        pipeline=train_pipeline),
    sampler=dict(type='DefaultSampler', shuffle=True),
)

val_dataloader = dict(
    batch_size=32,
    num_workers=5,
    dataset=dict(
        type=dataset_type,
        data_root='data/imagenet',
        ann_file='meta/val.txt',
        data_prefix='val',
        pipeline=test_pipeline),
    sampler=dict(type='DefaultSampler', shuffle=False),
)
val_evaluator = dict(type='Accuracy', topk=(1, 5))

# If you want standard test, please manually configure the test dataset
test_dataloader = val_dataloader
test_evaluator = val_evaluator

~~ 待更新

【mmpretrain/mmdeploy】mmpretrain的使用。将mmpretrain的模型转换为engine
qq_46110320的博客
08-12 1120
使用mmpretrain中的resnet50来训练自己数据集的教程，我做的是两个类别的图像分类任务。我是直接在原来的resnet基础上进行修改的，其实应该复制一份再操作，这里图简单。
MMPretrain 使用
weixin_46310125的博客
06-07 282
mmpretrain
MMPreTrain 入门教程
gitblog_00969的博客
08-09 502
MMPreTrain 入门教程 mmpretrainOpenMMLab Pre-training Toolbox and Benchmark项目地址:https://gitcode.com/gh_mirrors/mm/mmpretrain 1. 项目目录结构及介绍 MMPreTrain 的目录结构是精心设计的，以便于管理和理解各个组件。以下是主要目录及其作用： MMPreTrain/ ├── c...
上手OpenMMLab——MMpretrain讲解与实战
Yuetian_w的博客
11-15 730
今天的课程内容比较工程化，这里选取一些重点来记录。
MMPRETRAIN代码教学
weixin_42837310的博客
06-09 145
MMPRETRAIN代码教学
开源预训练框架 MMPRETRAIN官方文档（概览、环境安装与验证、基础用户指南）
qq_41627642的博客
07-07 7567
在本节中，我们将演示如何使用 PyTorch 准备环境。MMPretrain 适用于 Linux、Windows 和 macOS。它需要 Python 3.7+、CUDA 10.2+ 和 PyTorch 1.8+。在本教程中，我们提供了一个练习示例以及一些有关如何在您自己的数据集上进行训练的技巧。在 MMPretrain 中，我们支持CustomDataset（类似于ImageFolderin torchvision），可以直接读取指定文件夹内的图像。
【OpenMMLab AI实战营第二期】MMPretrain基本使用
JeffDing
06-06 1545
MMPretrain 是一个全新升级的预训练开源算法框架，旨在提供各种强大的预训练主干网络， 并支持了不同的预训练策略。MMPretrain 源自著名的开源项目 MMClassification 和 MMSelfSup，并开发了许多令人兴奋的新功能。目前，预训练阶段对于视觉识别至关重要，凭借丰富而强大的预训练模型，我们能够改进各种下游视觉任务。我们的代码库旨在成为一个易于使用和用户友好的代码库库，并简化学术研究活动和工程任务。我们在以下不同部分中详细介绍了 MMPretrain 的特性和设计。
MMPretrain代码课
nty102的博客
06-07 528
表示以可编辑形式安装，这样可以在不重新安装的情况下，让本地修改直接生效。
MMPRETRAIN训练自己数据集全流程
2402_83398439的博客
11-09 1720
本文主要对mmpretrain设置配置环境文件进行训练进行了一个讲解
MMCV预训练工具箱MMPreTrain
cjywzj123的博客
06-06 321
支持开箱即用的推理API和模型，包含丰富的相关任务：图像分类--图像描述--视觉问答--视觉定位---检索。MMPreTrain是一个预训练开源算法框架，提供各种强大的预训练主干网络，并支持不同的预训练策略。代码仓库: https://github.com/open-mmlab/mmpretrain。--数据 数据集划分、数据文件路径、批大小、数据增强策略。--训练优化 梯度下降算法、学习率参数、epoch、学习率变化策略。--模型结构 模型有几层、每层多少通道数。
mmpretrain代码学习
zebraZhangCheng的博客
06-07 215
然后来到了mmpretrain的亮点部分了，便于后续复用的config文件。头部head的num_classes=2 ,数据集中的 dataset_type=’CustomDataset’ ,训练集，测试集dataroot的位置。在分类算法中，混淆矩阵（Confusion Matrix），也称为错误矩阵（Error Matrix），是一种用于衡量分类模型性能的矩阵形式。首先引入mmpretrain包里的get_model,list_models,inference_model。其中主干网络是核心。
【图像分类】MMPretrain训练ImageNet格式自定义数据集
ericdiii的博客
04-06 1191
MMPretrain训练ImageNet格式自定义数据集
【OpenMMLab】AI实战营第二期Day5：MMPretrain代码课
墨门
06-10 1185
这是一节MMPretrain代码课，会教大家使用MMPretrain的实战操作，包括安装环境、编写配置文件、微调训练模型以及使用分析工具等。
OpenMMLab-AI实战营第二期——3-2. MMPretrain代码实战
啷个哩个啷
06-08 1190
比如：数据已经传到google云上了，懒得再改或者之后可能会修改数据分布，可能会有新的数据进来等那么频繁对图像文件夹进行改动，就不是很方便，此时可以考虑添加一个标注文件。准备数据集-标注文件方式1.文件结构| --fruit30_train | --哈密瓜 | --1.jpg | --2.jpg | --苦瓜 | --1.jpg | --2.jpg | --meta # 存放标注文件 | --train.txt | --val.txt | --test.txt2.标注文件内容比如：文件的内容。
开源预训练框架 MMPRETRAIN官方文档（高级指南）
qq_41627642的博客
07-13 2631
在新的数据集教程中，我们知道数据集类使用该load_data_list方法来初始化整个数据集，并将每个样本的信息保存到一个字典中。通常，为了节省内存使用，我们只加载load_data_list 中的图像路径和标签，并在使用时加载完整的图像内容。此外，我们可能希望在训练时选取样本时进行一些随机数据增强。几乎所有的数据加载、预处理和格式化操作都可以通过数据管道在 MMPretrain 中配置。数据管道意味着当从数据集中索引样本时如何处理样本字典。它由一系列数据转换组成。
mmlab之调用mmpretrain预训练模型
始于足下
08-27 1234
MMLab的MMPretrain中集成了主流的自监督、对比学习模型，通过对现有数据进行预训练，来提升下游任务的性能。这里对下游任务如何调用已经训练好的预训练权重模型进行介绍，原文链接可参考帮助文档。官方帮助文档已经写得很清楚了，帮助文档内容有点多，熟悉一下帮助文档的整体结构，关键的部分看的时候尽量把整个帮助文档都扫一遍吧，有个印象更好找一些，具体函数api这些用的时候再找就好。
MMpretrain训练
weixin_39478158的博客
06-07 335
配置环境后，克隆MM代码，安装mmlab命令行工具openmim，利用其中指令安MM。根据配置文件修改参数，有模型、数据集、规划和运行四个配置文件。训练时在模型配置文件中增加模型预训练权重加快训练收敛速度。训练结束后测试，可用analyze等命令对测试保存的结果进行分析。通过inference API使用训练的模型对真实图片进行实验，相比inference_model能配置更多参数。
MMPreTrain: 预训练算法的强大开源框架
gitblog_01171的博客
08-09 596
MMPreTrain: 预训练算法的强大开源框架 mmpretrainOpenMMLab Pre-training Toolbox and Benchmark项目地址:https://gitcode.com/gh_mirrors/mm/mmpretrain 项目介绍 MMPreTrain 是一个基于PyTorch的开源预训练工具箱，隶属于广受欢迎的OpenMMLab项目系列。它集成了一系列强大...
mmpretrain测试
最新发布
03-31
### 使用 MMPReTrain 进行模型测试 MMPReTrain 是 OpenMMLab 提供的一个用于预训练和微调的工具箱，支持多种视觉任务。以下是关于如何使用 MMPReTrain 进行模型测试的相关说明。 #### 安装 MMPReTrain 为了进行模型测试，首先需要安装 MMPReTrain 工具包。可以通过以下命令完成安装： ```bash pip install openmim mim install mmpretrain ``` 如果需要从源码安装，则可以克隆仓库并运行安装脚本[^2]： ```bash git clone https://github.com/open-mmlab/mmpretrain.git cd mmpretrain pip install -e . ``` #### 准备配置文件和权重 在执行测试之前，需准备好对应的配置文件（`.py` 文件）以及预训练或微调后的模型权重文件（通常是 `.pth` 格式）。这些资源可以从官方文档中的模型库下载[^1]，或者通过自定义训练生成。 #### 执行测试命令 MMPReTrain 支持单张图片分类预测或多张图片批量测试。以下是具体操作方法： ##### 单张图像分类预测 要对一张图片进行分类预测，可使用 `tools/deployment/test.py` 脚本。例如： ```bash python tools/deployment/test.py ${CONFIG_FILE} ${CHECKPOINT_FILE} --img ${IMAGE_PATH} ``` 其中： - `${CONFIG_FILE}` 表示模型的配置文件路径。 - `${CHECKPOINT_FILE}` 表示模型权重文件路径。 - `${IMAGE_PATH}` 表示待测图片的路径。 此命令会返回该图片所属类别的预测结果及其置信度分数[^3]。 ##### 多张图像批量测试 对于多张图片的批量测试，可通过修改上述命令实现自动化处理。例如编写一个简单的 Python 脚本来遍历目录下的所有图片，并逐一调用测试接口。 #### 自定义数据集测试 当使用自己的数据集时，可能需要调整配置文件以适配新的类别数量和其他参数设置。详情参见官方中文教程。 --- ### 示例代码：单图分类预测 下面是一个完整的单图分类预测的例子： ```python from mmpretrain import inference_model, init_model config_file = 'path/to/config.py' checkpoint_file = 'path/to/checkpoint.pth' # 初始化模型 model = init_model(config_file, checkpoint_file) # 加载输入图片 image_path = 'test.jpg' # 推理过程 result = inference_model(model, image_path) print(result) ``` 以上代码展示了如何加载模型并对指定图片进行推理的过程。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值