hat_pytorch图像重建算法模型

于 2024-07-15 00:00:00 发布
阅读量550 收藏 18
点赞数 19
分类专栏： 人工智能&深度学习&机器学习 文章标签： pytorch 算法 人工智能 图形重建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27815483/article/details/139808613
版权

HAT

论文

HAT: Hybrid Attention Transformer for Image Restoration

模型结构

HAT包括三个部分，包括浅层特征提取、深层特征提取和图像重建。

算法原理

HAT方法结合了通道注意力和基于窗口的自注意力方案，利用两者的互补优势。此外，引入了重叠的跨注意力模块来增强相邻窗口特征之间的交互, 更好地聚合跨窗口信息。在训练阶段，HAT还采用了相同的任务预训练策略，以进一步挖掘模型的潜力进行进一步改进。得益于这些设计，HAT可以激活更多的像素进行重建，从而显著提高性能。

环境配置

-v 路径、docker_name和imageID根据实际情况修改

Docker（方法一）

docker pull image.sourcefind.cn:5000/dcu/admin/base/pytorch:1.13.1-centos7.6-dtk23.10-py38

docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/ --shm-size=32G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name docker_name imageID bash

cd /your_code_path/hat_pytorch
pip install -r requirements.txt
python setup.py develop

Dockerfile（方法二）

cd ./docker
cp ../requirements.txt requirements.txt

docker build --no-cache -t hat:latest .
docker run -it -v /path/your_code_data/:/path/your_code_data/ -v /opt/hyhal/:/opt/hyhal/ --shm-size=32G --privileged=true --device=/dev/kfd --device=/dev/dri/ --group-add video --name docker_name imageID bash

cd /your_code_path/hat_pytorch
python setup.py develop

Anaconda（方法三）

1、关于本项目DCU显卡所需的特殊深度学习库可从光合开发者社区下载安装: https://developer.hpccube.com/tool/

DTK软件栈：dtk23.10
python：python3.8
torch：1.13.1
torchvision：0.14.1

Tips：以上dtk软件栈、python、torch等DCU相关工具版本需要严格一一对应

2、其他非特殊库直接按照requirements.txt安装

pip install -r requirements.txt
python setup.py develop

数据集

训练： ImageNet dataset DIV2K Flickr2K

Tips: DF2K: DIV2K 和 Flickr2 数据的整合 训练数据处理请参考BasicSR

测试： Classical SR Testing

数据准备具体步骤如下：

  1. 将数据存放在datasets目录下；

  2. BSD100和urban100需要再各自目录下新GTmod4、LRbicx4两个新目录，并把原始图片存放进GTmod4目录下，然后再datasets目录下分别执行下面两条命令：

python gen_LRbicx4.py --file_name ./BSD100
python gen_LRbicx4.py --file_name ./urban100
  1. 建数据集的目录结构如下:
├── DF2K
│   ├── DF2K_HR # HR 数据
│   ├── DF2K_HR_sub # 生成的
│   ├── DF2K_bicx4 # train_LR_bicubic_X4 数据
│   ├── DF2K_bicx4_sub # 生成的
├── Set5
│   ├── GTmod12
│   ├── LRbicx2
│   ├── LRbicx3
│   ├── LRbicx4
├── Set14
│   ├── GTmod12
│   ├── LRbicx2
│   ├── LRbicx3
│   ├── LRbicx4
├── BSDS100
│   ├── GTmod4 # 原始图像
│   ├── LRbicx4
├── urban100
│   ├── GTmod4 # 原始图像
│   ├── LRbicx4

Tips: 项目提供了tiny_datasets用于快速上手学习, 如果实用tiny_datasets, 需要对下面的代码内的地址进行替换, 当前默认完整数据集的处理地址。

  1. 因为 DF2K 数据集是 2K 分辨率的 (比如: 2048x1080), 而我们在训练的时候往往并不要那么大 (常见的是 128x128 或者 192x192 的训练patch). 因此我们可以先把2K的图片裁剪成有overlap的 480x480 的子图像块. 然后再由 dataloader 从这个 480x480 的子图像块中随机crop出 128x128 或者 192x192 的训练patch.
python extract_subimages.py # 将图片进行sub
  1. 生成 meta_info_file
python generate_meta_info.py

训练

预训练模型下载地址：Google Drive or 百度网盘 (access code: qyrl)。

训练日志及weights保存在./experiments文件中

单机多卡

# 默认 train_HAT_SRx4_finetune_from_ImageNet_pretrain.yml
bash train.sh

多机多卡

使用多节点的情况下，需要将使用节点写入hostfile文件, 多节点每个节点一行, 例如: c1xxxxxx slots=4。

  1. run_train_multi.sh中18行所需虚拟环境变量地址;

  2. 修改single_process.sh中22行所需训练的yaml文件地址，如与默认一致，可不修改。

执行命令如下, 训练日志保存在logs文件夹下

# 默认 train_HAT_SRx4_finetune_from_ImageNet_pretrain.yml
bash run_train_multi.sh

推理

预训练模型下载地址：Google Drive or 百度网盘 (access code: qyrl)。

测试结果将保存到 ./results 路径下。options/test/HAT_SRx4_ImageNet-LR.yml 适用于不使用 ground truth image 的推理过程。

# 默认 HAT_SRx4_ImageNet-pretrain.yml
bash val.sh

result

基于 Real_HAT_GAN_SRx4_sharper.pth 的测试结果展示

精度

HAT

ModelParams(M)Multi-Adds(G)Set5Set14BSD100Urban100
Z100L20.8102.433.148629.358725.407421.2687

应用场景

算法类别

图像重建

热点应用行业

交通,公安,制造

源码仓库及问题反馈

参考资料

技术瘾君子1573
关注
  • 19
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
深入了解PyTorch中的图像分割与重建
禅与计算机程序设计艺术
01-25 1005
1.背景介绍 1. 背景介绍 图像分割和重建是计算机视觉领域中的两个重要任务，它们在许多应用中发挥着重要作用，如自动驾驶、物体检测、地图生成等。在深度学习时代，图像分割和重建的研究取得了显著进展，PyTorch作为一款流行的深度学习框架，为这些任务提供了强大的支持。本文将深入了解PyTorch中的图像分割与重建，涵盖其核心概念、算法原理、最佳实践以及实际应用场景。 2. 核心概念与联系 2...
【PyTorch实战】用PyTorch实现基于神经网络的图像风格迁移
小哲的博客
07-01 7767
风格迁移中有两类图片：一类是`风格图片`，通常是一些艺术家的作品，往往具有明显的艺术家风格，包括色彩、线条、轮廓等；另一类是`内容图片`，这些图片往往来自现实世界，如个人摄影等。利用风格迁移能够将内容图片转换成具有艺术家风格的图片。...
CompressAI：基于pytorch的图像压缩框架使用
小夭的博客
07-12 7102
CompressAI: a PyTorch library and evaluation platform forend-to-end compression research，我的理解是一个基于图像（视频）压缩的API库。他是建立在 PyTorch 之上的，用于基于深度学习的数据压缩的自定义操作、层和模型，其中包括了基于tensorflow.compression压缩包的部分移植，还包括包括一些用于压缩任务的预训练模型。其中可以直接用到的模型来自以下几篇文献： 同时提供了与原作者实验对比的测试数据的性能
【PyTorch】深度学习实战之PyTorch实现线性回归
少年白马
03-15 5010
PyTorch实现线性回归 可调用对象： 如果要使用一个可调用对象，那么在类的声明的时候要定义一个call函数 class Foobar: def __init__(self): pass def __call__(self,*args,**kwargs): pass 其中参数*args代表把前n个参数变成n元组，**kwargsd会把参数变成一个词典，这些都是python的基础语法 def func(*args,**kwargs): print(
图像分割模型——segmentation_models_pytorch和albumentations 组合实现多类别分割
05-05
segmentation_models_pytorch是一款非常优秀的图像分割库，albumentations 是一款非常优秀的图像增强库，这篇文章将这两款优秀结合起来实现多类别的图像分割算法。数据集选用CamVid数据集，类别有：'sky', 'building...
Ablation 2_pytorch_GaN_医学图像python_医学图像重建_
10-01
在本文中，我们将深入探讨如何使用PyTorch框架来实现基于Generative Adversarial Networks (GANs) 的医学图像重建技术。标题中的"Ablation 2"可能指的是实验的第二阶段，通常在研究中用于测试不同组件的效果。Gan...
chinese_wwm_ext_pytorch.zip
09-21
标题 "chinese_wwm_ext_pytorch.zip" 提供了一个关于预训练模型的特定版本，即哈工大（哈尔滨工业大学）发布的BERT模型的WWM-EXT版本，且该模型是用PyTorch实现的。这一模型是自然语言处理领域的重要资源，特别针对...
d2lzh_pytorch.zip
03-03
通过学习和实践d2lzh_pytorch库，开发者可以逐步提升在PyTorch上的编程技能，理解深度学习模型的工作原理，并能够应用于实际问题。这个库对于想要系统学习和掌握PyTorch的中文用户来说，是一份不可多得的资源，能够...
Python库 | vector_quantize_pytorch-0.3.6.tar.gz
04-18
资源分类：Python库 所属语言：Python 资源全名：vector_quantize_pytorch-0.3.6.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
使用requirements.txt文件安装cuda（GPU）版本的pytorch
EstrangedZ的博客
07-14 242
使用requirements.txt和pip install -r requirements.txt 的方法安装cuda版本的pytorch
深度学习-4-PyTorch中的数据加载器Dataset和DataLoader
qq_20466211的博客
07-14 198
PyTorch中的数据加载器的制作，针对大量数据进行分批加载训练模型
交叉熵损失函数的使用目的（很肤浅的理解）
m0_53291740的博客
07-10 467
传进去的是(3,5)维度的数据，其中3可以代表有3个图片（数据）,5代表有5中类别（0，1，2，3，4这几类）。[ 0.1087, -0.4276, 0.9313, -1.0140, 2.1229]表示预测的是。·····第一个图是第一类的概率是 -0.4276（负数无所谓，举的例子是随机的嘛）是预测值的概率更加接近真实值，让那些真实值对于的概率的类别更加大。····第一个图是第一类的概率是 0.1087。----第一行的第3个值。----第二行的第4个值。----第3行的第2个值。
pytorch说明
2302_80644606的博客
07-10 1066
自动求导机制，扩展torch，CUDA语义，多进程，序列化的笔记总结
PyTorch复现PointNet——模型训练+可视化测试显示
beyond谚语的博客
07-09 1260
PointNet源码调试（模型训练+可视化测试显示）
GraphSAGE项目练手
weixin_46348136的博客
07-10 239
仅记录个人学习
大模型系列3--pytorch dataloader的原理
最新发布
字节跳动 内推找我
07-14 601
pytorch dataloader代码分析
【pytorch22】激活函数与GPU加速
qq_45291280的博客
07-09 352
激活函数和GPU加速
PyTorch使用细节
smartcat2010的博客
07-14 80
with torch.no_grad() ： 不再缓存activation，节省显存；model.eval() ：让BatchNorm、Dropout等失效；
使用segmentation_models_pytorch实现单模型训练
09-24
### 回答1： segmentation_models_pytorch 是一个基于 PyTorch 的图像分割库，可以用来训练语义分割模型。下面是使用 segmentation_models_pytorch 实现单模型训练的基本步骤： 1. 安装 segmentation_models_pytorch 和其依赖项： ``` pip install segmentation-models-pytorch ``` 2. 加载数据集并进行预处理。可以使用 torchvision 或者其他图像处理库加载数据集，并对数据进行预处理，如裁剪、缩放、归一化等操作。 3. 定义模型。使用 segmentation_models_pytorch 中提供的模型类（如 UNet、FPN、PSPNet 等）来定义模型。 ```python import segmentation_models_pytorch as smp model = smp.Unet( encoder_name="resnet34", # 使用 ResNet34 作为编码器 encoder_weights="imagenet", # 加载预训练权重 in_channels=3, # 输入通道数 classes=2, # 分类数 ) ``` 4. 定义损失函数和优化器。可以选择使用交叉熵损失函数和 Adam 优化器。 ```python import torch.nn as nn import torch.optim as optim criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 5. 训练模型。使用 DataLoader 加载数据集，并对模型进行训练。 ```python from torch.utils.data import DataLoader train_loader = DataLoader(dataset, batch_size=4, shuffle=True) for epoch in range(num_epochs): running_loss = 0.0 for i, data in enumerate(train_loader, 0): inputs, labels = data optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() print(f"Epoch {epoch+1}, Loss: {running_loss/len(train_loader)}") ``` 6. 保存模型。训练完毕后，可以使用 torch.save() 方法将模型保存到本地。 ```python torch.save(model.state_dict(), "model.pth") ``` ### 回答2： segmentation_models_pytorch是一个基于PyTorch实现的语义分割模型库。使用segmentation_models_pytorch实现单模型训练可以通过以下步骤完成。 首先，安装segmentation_models_pytorch库。可以通过pip install segmentation_models_pytorch命令来安装。 导入所需的库和模型。常用的库包括torch，torchvision和segmentation_models_pytorch。可以使用以下命令导入库： ```python import torch import torchvision.transforms as transforms import segmentation_models_pytorch as smp ``` 加载和预处理训练数据。可以使用torchvision中的transforms来定义一系列的数据预处理操作，例如裁剪、缩放和标准化等。之后，使用torch.utils.data.DataLoader来加载和批量处理数据。 定义模型架构。可以选择使用segmentation_models_pytorch中预定义的模型架构，例如UNet、PSPNet和DeepLab等。根据任务需求选择合适的模型，并初始化相关参数。 定义优化器和损失函数。常见的优化器有Adam和SGD等，损失函数常选择交叉熵损失函数。可以使用torch.optim中的函数来定义优化器，使用torch.nn中的损失函数来定义损失函数。 进行模型训练。使用torch.utils.data.DataLoader加载训练数据集，并迭代训练数据集中的每个批次。将批次数据输入模型中进行前向传播，获取模型的输出。计算损失，并进行反向传播更新模型的参数。重复以上步骤直到达到预定的训练轮数或达到设定的训练目标。 保存和加载训练好的模型。可以使用torch.save函数将训练好的模型保存到指定的文件路径，使用torch.load函数加载保存的模型文件。 以上是使用segmentation_models_pytorch实现单模型训练的基本步骤。根据具体任务和数据的不同，可能还需要进行一些细节操作，例如数据增强、学习率调整和模型评估等。 ### 回答3： segmentation_models_pytorch是一个基于PyTorch的分割模型训练库，可以应用于图像分割任务。下面我将介绍如何使用segmentation_models_pytorch实现单模型训练。 首先，我们需要安装segmentation_models_pytorch库。可以使用pip命令进行安装： ``` pip install segmentation-models-pytorch ``` 在训练之前，我们需要准备好训练数据和标签。通常情况下，训练数据是一些图像，标签则是对应每个像素点的分类或分割结果。 接下来，我们需要导入所需的库： ``` import segmentation_models_pytorch as smp import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, Dataset ``` 然后，我们需要创建一个自定义的数据集类，该类继承自torch.utils.data.Dataset类，并实现__len__和__getitem__方法，用于加载和处理数据。 接着，我们可以选择一个合适的分割模型，比如Unet、FPN等。这些模型可以通过调用smp库中的函数进行初始化，比如： ``` model = smp.Unet( encoder_name="resnet34", encoder_weights="imagenet", classes=1, activation='sigmoid' ) ``` 在这里，我们选择了一个使用ResNet-34作为编码器、预训练权重为ImageNet数据集、分类数为1（二分类问题）的Unet模型。 然后，我们可以定义损失函数和优化器： ``` criterion = nn.BCELoss() optimizer = optim.Adam(model.parameters(), lr=0.001) ``` 接着，我们可以进行训练循环，依次迭代数据进行训练和优化： ``` for epoch in range(num_epochs): for batch in dataloader: inputs, labels = batch optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() ``` 最后，我们可以保存模型并在需要预测时加载模型进行测试： ``` torch.save(model.state_dict(), "segmentation_model.pt") model.load_state_dict(torch.load("segmentation_model.pt")) ``` 以上就是使用segmentation_models_pytorch实现单模型训练的过程。根据具体任务需求，你也可以调整模型、损失函数、优化器等参数来进行更灵活的训练。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

技术瘾君子1573

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值