将MAE方法用于reflacx数据集--MMpretrain/slurm

已于 2024-07-19 14:27:30 修改
阅读量1k 收藏 26
点赞数 18
分类专栏： 自监督学习 文章标签： 人工智能 github
于 2024-06-12 16:46:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45861496/article/details/139408480
版权

MAE—reflacx

问题

问题一 === 对数据集reflacx的了解

reflacx (Reports and Eye-tracking data For Localization of Abnormalities in Chest X-rays) 数据集是一个专门用于医学影像分析的公开数据集，特别是胸部X光片的自动化分析。该数据集提供高质量的X光片影像，并附有详细的医学注释，旨在推动深度学习在医学影像中的应用和发展。

reflacx文件
来看一下reflacx.json文件

...
{
        "study_id": "34cedb74-d0996b40-6d218312-a9174bea-d48dc033",
        "image_path": "files/p18/p18111516/s55032240/34cedb74-d0996b40-6d218312-a9174bea-d48dc033.jpg",
        "report": "support apparatus. no pneumothorax. enlarged cardiac silhouette. no pulmonary consolidation or acute airspace disease.",
        "reflacx_id": "P102R108387"
    },
...

可以看到这个注释文件的标签有study_id、image_path、report、reflacx_id四类。注意我们现在这个任务只需要使用这些图片，image_path就是我们要使用的东西

问题二 === MAE实现的是有监督，还是无监督任务

MAE是一种自监督学习方法
自监督学习是一种无监督学习的变种，它利用数据自身生成的标签来进行训练，而不需要人工标注的数据。这种方法在图像、文本等领域应用广泛，常用于预训练模型，使其在后续的有监督任务（如分类、检测等）中表现更好。MAE通过遮盖输入数据的一部分，然后训练模型重建被遮盖部分，从而学习数据的内部表示。以下是MAE的具体工作流程：

  1. 数据遮盖：随机遮盖输入数据的一部分。例如，在图像任务中，可以随机遮盖图像的一些区域。
  2. 编码器：将遮盖后的数据输入编码器，编码器提取剩余部分的特征。
  3. 解码器：将编码器的输出输入解码器，解码器尝试重建被遮盖的数据部分。
  4. 损失函数：计算重建部分与原始数据之间的差异（如均方误差，MSE），并反向传播更新模型参数。
    通过上述步骤，MAE在训练过程中学习如何从部分数据中恢复整体数据，从而捕获数据的全局特征和结构。

MAE方法最初是在图像领域提出的，例如用于图像分类任务的预训练。在这类任务中，MAE通过遮盖部分图像像素，并训练模型重建被遮盖部分，从而学习图像的有效表示。预训练后的模型可以迁移到下游的有监督任务中，通常能显著提高这些任务的性能。
总的来说，
MAE是一种自监督学习方法，属于无监督学习范畴。通过数据遮盖和重建任务，MAE能够在没有人工标注的情况下学习数据的有效表示。这种方法在需要大量数据预训练的任务中表现尤为突出，可以为后续的有监督任务提供强大的特征表示。

问题三 === 实验流程

  1. 从github上fork我师兄的项目 （30min）
  2. 创建一个虚拟环境 （1h）
  3. 根据模板来编写我们的MAE—reflacx (4h)
  4. 在集群上运行 (24h)

问题四 === 实验目的

得到自监督的预训练模型参数文件 (XXX.pth)

一、从github上fork我师兄的项目30min（github账号的注册什么的，可以去参考b站）

1.1 点开下面这个链接

师兄的mmpretrain网址

1.2 看到页面的上方，跟随我们的小兔子fork一下

在这里插入图片描述

1.3 根据这个指引，填好之后，点击绿色的Create fork

在这里插入图片描述

1.4 然后点击右上角自己的头像，点开 Your repositories（你的仓库）

在这里插入图片描述

1.5 点击蓝色的mmpretrain项目，然后点击这个绿色的code，点击如下复制键

把这个链接记下来，待会儿要用。
我的是：

https://github.com/jelly2933/mmpretrain.git

在这里插入图片描述

二、创建一个虚拟环境 （1h）

2.1 根据下面的链接学习如何创建环境

先看一下所有的操作，2.2会详细地展示

mmpretrain环境安装文档

在这里插入图片描述
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/97ae4ae44ee54edc8f563bf9d0381b1f.png

2.2 实际创建一个虚拟环境，这里我们创建环境名mmlab

先用vscode连接好集群在bash（就是这种命令行输入的地方）下，先运行一下 cd ~ 回到家目录，然后依次执行下面的命令
在这里插入图片描述

  1. 去B站学习一下安装miniconda，最好是在家目录下创建一个software文件夹，再安装miniconda。
  2. cd ~
  3. conda create --name mmlab python=3.10 -y
  4. conda activate mmlab
  5. 这里要安装pytorch，有一些讲究，要去官网选择版本

pytorch官网

这是我的选择，感觉这个版本还是比较稳定的

在这里插入图片描述

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

要是下载比较慢，可以多试几次，下面是可以加上aliyun镜像的版本，不建议这个，因为可能会下载成cpu版本的，到时候有点麻烦。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 -i https://mirrors.aliyun.com/pypi/simple/

6.注意，这里要使用到1.5记下来的链接，把下面的链接替换为你复制的链接

git clone https://github.com/jelly2933/mmpretrain.git
  1. cd mmpretrain
  2. pip install -U openmim && mim install -e . -i https://mirrors.aliyun.com/pypi/simple/
  3. 太棒了，你成功创建了mmlab环境，喝口水吧。

三、根据模板来编写我们的MAE—reflacx (3h)

在mmpretrain文件夹下，可以看到超多文件，不要随便改动尤其是别删除，我们根据他给的文件，添加文件，来实现我们的功能。

3.1 读取reflacx数据集

定位到mmpretrain文件夹下
cd ~/mmpretrain/

  1. 根据下图依此点开mmpretrain -> mmpretrain -> dataset。注意根目录是的mmpretrain
  2. 先看__init__.py文件

看到白色框框里面的，是我们将“Reflacx”类型的数据做好了注册，等下可以使用dataset_type = “Reflacx”这个语句。在这里插入图片描述
3. 接下来找到reflacx.py
重点关注load_data_list()这个函数，蓝色框里面就是用来读取我们数据的json文件的语句，白色框里是比较关键的读取图片的路径，上面我已经提到MAE是自监督方法，不需要标注信息，这里的info可以只使用绿色的第一句，我们只要获得这个图片就可以。
在这里插入图片描述

3.2 编写base文件

根目录是mmpretrain，依此点开configs -> _base_ 。

  1. datasets文件
  • 先点开datasets，创建reflacx_bs64_mae.py文件
    在这里插入图片描述
  • 找到我们准备模仿的imagenet_bs512_mae.py文件，将imagenet_bs512_mae.py文件copy到reflacx_bs64_mae.py中
    第一个白色框是我们根据reflacx改动的，第二个白色框是将batch_size改小一点为64，加载数据的子进程数量num_workers改为4。
    黄色框是我们要删除的部分，因为所使用的reflacx数据集并没有划分训练集。
    绿色框部分是imagenet数据集的像素均值和标准差，这里我们没有计算reflacx数据集的，是可以计算之后替换掉的部分，或许2.0版本。
    在这里插入图片描述
  1. models文件
  • 先点开models，打开mae_vit-base-p16.py文件
    黄色框为我们添加的部分，这里要加载一个模型的参数。
    在这里插入图片描述
  • 在bash依次运行
cd ~
mkdir preTrain
cd preTrain
wget https://download.pytorch.org/models/vit_b_16-c867db91.pth
ls

在这里插入图片描述
看到这个.pth文件，说明下载好了参数
回到mmpretrain下

cd ~/mmpretrain/

3.接下来就还剩一个文件的编写了，真棒，喝口水吧~

3.3 mae模型文件

根目录是mmpretrain，依此点开configs -> mae 。

  1. 创建一个mae_vit-base-p16_1xb64-amp-coslr-400e_reflacx.py文件，打开mae_vit-base-p16_8xb512-amp-coslr-400e_in1k.py文件，将里面的内容复制到mae_vit-base-p16_1xb64-amp-coslr-400e_reflacx.py。
    在这里插入图片描述
    2.同时打开 mae_vit-base-p16_1xb64-amp-coslr-400e_reflacx.py和mae_vit-base-p16_8xb512-amp-coslr-400e_in1k.py

    第一个白色框，是我们在3.2做的改动，通过datasets/reflacx_bs64_mae.py，我们可以batchsize=64使用reflacx数据集；通过models/mae_vit-base-p16.py我们添加了vit_b_16-c867db91.pth模型参数。
    第二个白色框，将学习率改为比较常用的1e-3
    在这里插入图片描述
    白色框是修改为每隔一百轮保存一次模型，最多保存400个模型参数文件，即.pth文件；
    每隔10轮打印一次输出信息；
    黄色框为删除的部分。
    在这里插入图片描述 3.到此，要添加的内容就完成了！！

四、在集群上运行 (24h)

根目录是mmpretrain，点开tools 。

4.1 新建.sh文件，slurm集群管理版本

这里命名为bme_train.sh

#!/usr/bin/env bash
#SBATCH -p bme_gpu
#SBATCH --job-name=selfsup_reflacx
#SBATCH --nodes=1
#SBATCH --gres=gpu:1
#SBATCH --mem=64G
#SBATCH --ntasks-per-node=1
#SBATCH --cpus-per-task=4
#SBATCH -t 5-00:00:00

set -x

CONFIG=$1
PY_ARGS=${@:2}
source activate mmlab
nvidia-smi

PYTHONPATH="$(dirname $0)/..":$PYTHONPATH \
python -u tools/train.py ${CONFIG} --launcher="slurm" ${PY_ARGS}

# PYTHONPATH="$(dirname $0)/..":$PYTHONPATH OMP_NUM_THREADS=4 python -u tools/train.py ${CONFIG} --launcher="slurm" ${PY_ARGS}
# PYTHONPATH="$(dirname $0)/..":$PYTHONPATH python -u tools/train.py ${CONFIG} --launcher="slurm" ${PY_ARGS}
# gpu:1
# gpu:NVIDIAA10080GBPCIe:1#

4.2 bash运行

cd ~/mmpretrain
sbatch tools/bme_train.sh  configs/mae/mae_vit-base-p16_1xb64-amp-coslr-400e_reflacx.py

4.3 运行中途打印的信息与最后得到的.pth文件

在这里插入图片描述
在这里插入图片描述在这里插入图片描述
得到的epoch_400.pth可以用作预训练模型参数啦，下一步就是评估这个模型参数。

多多点赞，会变好看！！

榆钱不知秋
关注
  • 18
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
PyTorch笔记 - MAE(Masked Autoencoders) PyTorch源码
Mystra
12-20 2047
掩码的自编码器是可扩展的视觉学习器MAE结构：ViT的不同类型：An Image is worth 16X16 words: Transformers for Image recognition at scale。
SiamMAE复现记录，训练我们自己的数据集。AI学习从复现开始！
quan_app的博客
07-06 1214
论文中提到使用的是共享权值的encoder，所以此处可直接使用MAE的encoder，由于MAE是单分支的，这里需要更改modeling_pretraining.py代码，将网络中间稍作修改。而第二个分支encoder的输入为未被掩码的patch，这里我没有按照论文的95%掩码率，使用的仍是MAE原始的75%掩码率，即输入256个patch，输出不变，即[1， 256， 768]最后我们要训练我们自己的数据集，文章中是图像重建任务，与MAE不同，输入端是两张图片，所以，dataset这边也需要改一下。
MAE详解
热门推荐
sinat_34201763的博客
05-18 2万+
目录 一、介绍 二、网络结构 1. encoder 2. decoder 3. LOSS 三、实验 全文参考：论文阅读笔记：Masked Autoencoders Are Scalable Vision Learners_塔_Tass的博客-CSDN博客 masked autoencoders(MAE)是hekaiming大佬又一新作，其做法很简单，就是随机mask掉一部分patches并重建这部分丢失的像素，可看作是一个可扩展的(scalable)自监督学习器，能极大加速模型的训练速度
【MAE】Masked Autoencoders 实现及预训练可视化
m0_63642362的博客
12-04 3452
使用ImageNet 1K Val 中的4W张图片训练MAE，实现了训练过程的可视化，可以看到MAE训练过程中预测的变化，由于资源和数据集大小限制，仅实现预训练过程可视化。
首个大规模图文多模态数据集LAION-400M介绍
木盏
12-04 1万+
openAI的图文多模态模型CLIP证明了图文多模态在多个领域都具有着巨大潜力，随之而来掀起了一股图文对比学习的风潮。就在前几天（2022年12月），连Kaiming都入手这一领域，将MAE的思路与CLIP的思路结合，推出了FLIP，有兴趣可戳（https://arxiv.org/abs/2212.00794）。对于迷茫的CV研究生，如果你找不到研究方向，just follow Kaiming绝对不会出错。今天要介绍的是一个优秀的图文多模态数据集LAION，跟CLIP原始训练数据集就有相当体量，即400个m
错误：File "/root/anaconda3/lib/python3.7/site-packages/pyspider/run.py", line 231 async=True, get_
Never-Say-Never
10-11 5368
python3.7 安装使用pyspider模块 遇到报错： File "/root/anaconda3/lib/python3.7/site-packages/pyspider/run.py", line 231 async=True, get_object=False, no_input=False): 找了半天原来是因为python3.7不支持async做变量。在python3....
鲍鱼数据集案例分析-预测鲍鱼年龄（线性回归/梯度下降法实操）
WSY_nian的博客
03-04 1万+
鲍鱼数据集案例分析-预测鲍鱼年龄（线性回归/梯度下降法实操）
回归评价指标MSE、RMSE、MAE、R-Squared
htfenght的博客
01-25 1911
原文地址 前言 分类问题的评价指标是准确率，那么回归算法的评价指标就是MSE，RMSE，MAE、R-Squared。下面一一介绍 均方误差（MSE） MSE （Mean Squared Error）叫做均方误差。看公式 这里的y是测试集上的。 用 真实值-预测值 然后平方之后求和平均。 猛着看一下这个公式是不是觉得眼熟，这不就是线性回归的损失函数嘛！！！ 对，在线性回归的时候我们的目的就是让...
CMU-MOSEI数据集解读
使用轻刷本卡
10-29 1万+
Multimodal Language Analysis in the Wild:CMU-MOSEI Dataset and Interpretable Dynamic Fusion Graph 作者： Amir Zadeh(Language Technologies Institute,CMU, USA) Paul Pu Liang(Machine Learning Department, CMU, USA) Jonathan Vanbriesen(Language Technologies Inst
数据集C-MAPSS-Data.rar
01-07
数据集C-MAPSS-Data.rar是一个专门用于研究和训练机器学习模型的资源，其中包含了多个文件，每个文件都有特定的用途。C-MAPSS（Commercial Modular Aero-Propulsion System Simulation）是航空发动机性能模拟的一个...
糖尿病之血糖数据集-数据集
03-30
该数据集是针对糖尿病患者血糖水平的记录，用于分析和研究糖尿病的影响因素及预测患者的血糖变化。这个数据集包含了多个CSV文件，每份文件可能对应不同的时间阶段或实验组别。 1. **数据集的基本构成** 数据集由四...
学生成绩预测 数据集-数据集
03-14
本数据集名为"学生成绩预测 数据集-数据集"，其中包含一个名为"StudentPerformance.csv"的CSV文件，这是一种常见的数据存储格式，用于结构化数据的交换。CSV（Comma Separated Values）文件以逗号分隔每列数据，便于...
二手车交易数据集-数据集
03-26
二手车交易数据集是数据分析和机器学习领域常用的资源，主要用于研究和预测二手车的价格、评估车辆状况等。本数据集包含两个主要文件：`used_car_train_20200313.csv` 和 `used_car_testB_20200421.csv`，以及一个...
工业蒸汽量预测数据集-数据集
03-30
标题 "工业蒸汽量预测数据集-数据集" 暗示了这是一个用于预测工业生产过程中蒸汽消耗量的数据集合。在工业生产中，蒸汽通常作为能源用于加热、驱动机械设备或者生产过程中的其他环节。准确预测蒸汽量对于优化能源...
2024钉钉杯A题思路详解
最新发布
全栈川川
07-26 1940
2024钉钉杯思路
常见的文心一言的指令
知码客
07-25 1804
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
AI智能技术驱动安全生产：智慧矿山视频智能监管新篇章
TSINGSEE青犀视频官方技术博客
07-26 786
当识别到有人员未按照要求穿戴安全帽、反光背心/工服时，将立即抓拍，并将告警信息上传到平台。
Traceback (most recent call last): File "D:/air/数据缺失填充/BRITS-Air-Quality-main - 4 - 副本/BRITS-Air-Quality-main/Air-Quality/main.py", line 156, in <module> LOSS_train, MAE_train, MRE_train, MAE_test, MRE_test = run() File "D:/air/数据缺失填充/BRITS-Air-Quality-main - 4 - 副本/BRITS-Air-Quality-main/Air-Quality/main.py", line 144, in run LOSS_train, MAE_train, MRE_train = train(model,train_data_iter) File "D:/air/数据缺失填充/BRITS-Air-Quality-main - 4 - 副本/BRITS-Air-Quality-main/Air-Quality/main.py", line 53, in train ret = model.run_on_batch(data, optimizer, epoch) File "D:\air\数据缺失填充\BRITS-Air-Quality-main - 4 - 副本\BRITS-Air-Quality-main\Air-Quality\models\aseq.py", line 171, in run_on_batch ret = self(data) File "D:\anaconda3\envs\pytorch-gpu2\lib\site-packages\torch\nn\modules\module.py", line 1501, in _call_impl return forward_call(*args, **kwargs) File "D:\air\数据缺失填充\BRITS-Air-Quality-main - 4 - 副本\BRITS-Air-Quality-main\Air-Quality\models\aseq.py", line 63, in forward encoder_out = self.encoder(data) File "D:\anaconda3\envs\pytorch-gpu2\lib\site-packages\torch\nn\modules\module.py", line 1501, in _call_impl return forward_call(*args, **kwargs) File "D:\air\数据缺失填充\BRITS-Air-Quality-main - 4 - 副本\BRITS-Air-Quality-main\Air-Quality\models\brits.py", line 38, in forward ret_f = self.rits_f(data, 'forward') File "D:\anaconda3\envs\pytorch-gpu2\lib\site-packages\torch\nn\modules\module.py", line 1501, in _call_impl return forward_call(*args, **kwargs) File "D:\air\数据缺失填充\BRITS-Air-Quality-main - 4 - 副本\BRITS-Air-Quality-main\Air-Quality\models\rits.py", line 174, in forward h = h * gamma_h RuntimeError: The size of tensor a (14) must match the size of tensor b (64) at non-singleton dimension 0 进程已结束，退出代码 1
07-25
根据给出的跟踪信息，出现了一个运行时错误。错误信息显示在 "D:/air/数据缺失填充/BRITS-Air-Quality-main - 4 - 副本/BRITS-Air-Quality-main/Air-Quality/models/rits.py" 文件的第 174 行，具体错误为： "运行时错误：张量 a 的大小 (14) 必须与张量 b 的大小 (64) 在非单维度 0 上匹配。" 这个错误通常发生在尝试进行张量运算时，两个张量的形状不匹配。在这种情况下，张量 a 的大小为 14，张量 b 的大小为 64，在非单维度 0 上不匹配。 要解决这个错误，您需要检查代码中涉及到这两个张量的部分，并确保它们的形状是一致的。可能需要调整数据的维度或使用适当的操作来使它们匹配。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

榆钱不知秋

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值