图像去模糊：跑通DeblurGAN-v2

最新推荐文章于 2024-04-24 17:56:53 发布
最新推荐文章于 2024-04-24 17:56:53 发布
阅读量7.4k 收藏 58
点赞数 6
分类专栏： 超分 文章标签： deblur deblurGANv2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22764813/article/details/121762177
版权

目录

一.环境的配置

二.跑通测试predict.py

三.跑通训练train.py

1.数据准备

2.数据增强方式

3.加载预训练模型

4.模型训练结果存储问题

工程：https://github.com/VITA-Group/DeblurGANv2

一.环境的配置

直接使用python train.py缺什么库，就安装什么库；

二.跑通测试predict.py

需要设置以下参数：

--img_pattern
/media/XXX/test/LR/2021-01-28_11-21-04_white.jpg
--mask_pattern
None
--weights_path
/media/XXX/deblur/DeblurGANv2-master/weights/fpn_inception.h5
--out_dir
submit/
--side_by_side
False
--video
False

三.跑通训练train.py

配置config中的config.yaml参数:

---
project: deblur_gan
experiment_desc: fpn #日志存储文件夹

train:
  files_a: /media/XXX/7292a4b1-2584-4296-8caf-eb9788c2ffb9/data/deblur/deblurGANv2/20211209/train/LR/*.jpg #&FILES_A /datasets/my_dataset/**/*.jpg #low quality/blury images
  files_b: /media/XXX/7292a4b1-2584-4296-8caf-eb9788c2ffb9/data/deblur/deblurGANv2/20211209/train/HR/*.jpg #*FILES_A #clean files
  size: &SIZE 256
  crop: random #裁剪方式选择，备选项为：center
  preload: &PRELOAD false
  preload_size: &PRELOAD_SIZE 0
  bounds: [0, .9]
  scope: geometric
  corrupt: &CORRUPT
    - name: cutout
      prob: 0.5 #数据增强概率
      num_holes: 3
      max_h_size: 25
      max_w_size: 25
    - name: jpeg #增强方式选择，配合aug.py 函数def _resolve_aug_fn(name)中查看挑选需要的增强方式
      quality_lower: 70
      quality_upper: 90
    - name: motion_blur #增强方式选择，配合aug.py 函数def _resolve_aug_fn(name)中查看挑选需要的增强方式
    - name: median_blur
    - name: gamma
    - name: rgb_shift
    - name: hsv_shift
    - name: sharpen

val:
  files_a: /media/XXX/7292a4b1-2584-4296-8caf-eb9788c2ffb9/data/deblur/deblurGANv2/20211209/test/LR/*.jpg #*FILES_A
  files_b: /media/XXX/7292a4b1-2584-4296-8caf-eb9788c2ffb9/data/deblur/deblurGANv2/20211209/test/HR/*.jpg #*FILES_A
  size: *SIZE
  scope: geometric
  crop: center
  preload: *PRELOAD
  preload_size: *PRELOAD_SIZE
  bounds: [.9, 1]
  corrupt: *CORRUPT

phase: train
warmup_num: 3
model:
  g_name: fpn_inception
  blocks: 9
  d_name: double_gan # may be no_gan, patch_gan, double_gan, multi_scale
  d_layers: 3
  content_loss: perceptual
  adv_lambda: 0.001
  disc_loss: wgan-gp
  learn_residual: True
  norm_layer: instance
  dropout: True

num_epochs: 200
train_batches_per_epoch: 1000 #训练进度条长度
val_batches_per_epoch: 100 #验证时进度条长度
batch_size: 1
image_size: [256, 256] #图像推理尺寸

optimizer:
  name: adam
  lr: 0.0001
scheduler:
  name: linear
  start_epoch: 50
  min_lr: 0.0000001

1.数据准备

注意：训练时数据推理尺寸为256*256，为了防止图像变形，所以使用的训练连样本都是宽高相等的图片；

准备自己的数据时，HR和LR图像的尺寸要相等，这个有别于超分辨率准备的数据，当HR和LR图像尺寸不相等时，模型训练的精度会一直起不来，本人训练时PSNR一直在16徘徊，跑了一晚上才醒悟（训练有问题啊）；

2.数据增强方式

该项目中使用的是albumentations库，结合config中的config.yaml进行参数配置；

目前有这么多种增强方式，可修改源码

选其一：aug.py def get_transform中
albu.HorizontalFlip(always_apply=True), #左右翻转
albu.ShiftScaleRotate(always_apply=True),#随机仿射变换
albu.Transpose(always_apply=True),#转置
albu.OpticalDistortion(always_apply=True),#非刚体变换方法
albu.ElasticTransform(always_apply=True)#非刚体变换方法
albu.RandomCrop#随机裁剪
albu.CenterCrop#中心裁剪
选其一：aug.py def _resolve_aug_fn(name):
albu.Cutout,#随机擦除
albu.RGBShift,#对图像RGB的每个通道随机移动值
albu.HueSaturationValue,#随机更改图像的颜色，饱和度和值
albu.MotionBlur,#
albu.MedianBlur,
albu.RandomSnow,
albu.RandomShadow,
albu.RandomFog,#随机雾化
albu.RandomBrightnessContrast,
albu.RandomGamma,#随机灰度系数
albu.RandomSunFlare,
albu.Sharpen,
albu.ImageCompression,
albu.ToGray,
albu.Downscale,

3.加载预训练模型

train.py中的def _init_params(self):
self.criterionG, criterionD = get_loss(self.config['model'])
self.netG, netD = get_nets(self.config['model'])
self.netG.load_state_dict(torch.load("weights/fpn_inception.h5", map_location='cpu')['model'])

4.模型训练结果存储问题

按照原工程中的设置，日志文件存储在fpn文件夹下；

训练模型只存储最新一个和最好的一个模型，而且是存储在工程根目录下，没有另起一个文件夹存储，可以修改def train(self)中的代码：

原代码为：

if self.metric_counter.update_best_model():
    torch.save({'model': self.netG.state_dict()}, 
         'best_{}.h5'.format(self.config['experiment_desc']))
    torch.save({'model': self.netG.state_dict()
            }, 'last_{}.h5'.format(self.config['experiment_desc']))

修改为：

if self.metric_counter.update_best_model():
    torch.save({'model': self.netG.state_dict()},self.config['experiment_desc']+'/best_{}.h5'.format(self.config['experiment_desc']))
    torch.save({'model': self.netG.state_dict()}, self.config['experiment_desc']+'/last_{}.h5'.format(self.config['experiment_desc']))

if epoch // 50:
    torch.save({'model': self.netG.state_dict()}, self.config['experiment_desc']+'/epoch_{}.h5'.format(epoch))

其他链接：

图像去模糊之DeblurGAN-v2_年轻即出发，-CSDN博客_deblurganv2

猫猫与橙子
关注
  • 6
    点赞
  • 踩
  • 58
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 16
    评论
专栏目录
图像去模糊：使用DeblurGAN和DeblurGANv2模型去除模糊图像
sybh的博客
04-28 1793
DeblurGAN是一种基于生成对抗网络（GAN）的图像去模糊方法。它包括两个主要部分：生成器和判别器。生成器负责从模糊图像中生成去模糊图像，而判别器则负责判断输入的图像是否为真实的去模糊图像。生成器和判别器通过对抗性训练相互提高，最终达到高质量的图像去模糊效果。DeblurGANv2是DeblurGAN的改进版本，它在原有基础上引入了更复杂的网络结构和训练策略。DeblurGANv2在多个去模糊任务上的表现优于DeblurGAN，因此本文将主要介绍如何使用DeblurGANv2进行图像去模糊。
deblurGAN代码
09-06
去模糊代码拍照时手抖，或者画面中的物体运动都会让画面模糊，女友辛辛苦苦摆好的各种Pose也将淹没在各种模糊的线条中，是时候要有一种新的算法解救水深火热中的你了。
Deblurgan_v2预设权重文件
09-04
适合没有VPN又需要Deblurgan_v2预设权重文件的人
DeblurGANv2的复现过程
weixin_45926697的博客
01-30 2333
config.yaml是项目的配置文件：包括训练集的路径设置，验证集路径设置，对数据集内图片的处理，数据集增强等；：评价指标(metric)，用于测试metrics的代码，测试性能和指标，输出单个图片的PSNR或者输出批次的SSIM等，用于测试相关指标。pwd=9fpt 提取码：9fpt。：用于记录和统计模型中各种指标的工具类，比如PSNR，SSIM等，主要用于记录和监视关键指标，便于模型性能的评估和调优。：对应config文件中学习率的调整方法，那里是调用模块，这里是封装的模块，和优化器一起使用的类。
DeblurGAN-v2: Deblurring (Orders-of-Magnitude) Faster and Better
最新发布
AI浩
04-24 1132
我们提出了一种新的端到端生成对抗网络（GAN），用于单图像运动去模糊，名为DeblurGAN-v2，该网络大大提升了去模糊的效率、质量和灵活性。DeblurGAN-v2基于具有双尺度判别器的相对论条件GAN。我们首次将特征金字塔网络引入去模糊领域，作为DeblurGAN-v2生成器的核心构建块。它可以灵活地与各种骨干网络配合使用，以在性能和效率之间取得平衡。使用先进的骨干网络（例如，Inception-ResNet-v2）可以带来稳固的先进的去模糊效果。
DeblurGAN-v2：更快更好地去模糊
weixin_53711236的博客
02-27 3187
概述 我们提出了一种新的端到端生成对抗网络 (GAN)，用于单图像运动去模糊，名为 DeblurGAN-v2，它大大提高了最先进的去模糊效率、质量和灵活性。DeblurGAN-v2 基于具有双尺度鉴别器的相对论条件 GAN。我们首次将特征金字塔网络引入去模糊，作为 DeblurGAN-v2 生成器的核心构建块。它可以灵活地与各种主干一起工作，以在性能和效率之间取得平衡。复杂主干的插件（例如，Inception-ResNet-v2）可以实现最先进的去模糊。同时，借助轻量级骨干网（例如，MobileNet 及
DeblurGANv2图像去模糊算法代码实践！
爱CV
10-23 7474
1.起源：GAN 结构与原理 在介绍DeblurGANv2之前，我们需要大概了解一下GAN，GAN最初的应用是图片生成，即根据训练集生成图片，如生成手写数字图像、人脸图像、动物图像等等，其主要结构如下： 我们先由上图的左下方开始，假设现在只有一个样本，即batch size为1，则Random noise是一个由服从标准正态分布的随机数组成的向量。首先，我们将Random noise输入Generator，最原始GAN的Generator是一个多层感知机，其输入是一个向量，输出也是一个向量，然后我
GAN学习笔记（二）图像去模糊 DeblurGAN 和 DeblurGANv2
juluwangriyue的博客
09-13 7369
论文：DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks 代码：KupynOrest/DeblurGAN 论文主要贡献： 提出使用DeblurGAN对模糊图像去模糊，网络结构基于cGAN和“content loss”。获得了目前最佳的去模糊效果 将去模糊算法运用到了目标检测上，当待检测图像是模糊的的时候，先对图像去模糊能提高目标检测的准确率 提出了一个新的合成模糊图像的方法 生成模糊图像的方法： 用清晰图像卷
DeblurGAN:通过DeblurGANv2网络对图像进行去模糊以改善图像清晰度
03-16
DeblurGAN 通过DeblurGANv2网络对图像进行去模糊以改善图像清晰度
去模糊 deblurgan-v2 预训练权重 fpn-mobilenet
04-04
去模糊 deblurgan_v2 预训练权重 fpn_mobilenet 适合github上下载不了的人
deblurgan-v2 预训练模型 fpn-inception
04-04
deblurgan_v2 预训练模型权重 fpn_inception 适合github上下载不了的人
serendipboard_v2:Serendip板-v2
03-18
5. **文件名“serendipboard_v2-main”**：这可能指的是项目的主目录或者源代码库的根目录，暗示了项目是基于某种版本控制系统（如Git）管理的，并且可能包含了项目的主要代码和配置文件。 6. **开发环境与工具**：...
v2ex-card:Chrome 扩展 - v2ex 悬停名片
05-31
【v2ex-card: Chrome 扩展 - v2ex 悬停名片】 v2ex-card 是一款专为 Chrome 浏览器设计的扩展程序，它为用户提供了在浏览 v2ex 论坛时的一项便捷功能——悬停名片。当你鼠标悬停在论坛用户的用户名上时，v2ex-card ...
基于深度学习的图像去模糊（两篇经典的文献阅读笔记）
热门推荐
zseqsc_asd的博客
01-11 2万+
基于神经网络的动态场景图像去模糊 参考文献：2017 CVPR Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring 原文链接：https://arxiv.org/pdf/1612.02177.pdf 基于深度学习的方法和传统的优化的方法都提出了对于图像的非均匀模糊问题进行了解决，但对于动态场景的模糊问...
图像修复（拖影、失焦、雨雾、模糊）deblurGAN 论文解读
固本培元的专栏
05-02 8533
图像修复（拖影、失焦、雨雾、模糊）deblurGAN 论文解读 look forpapers for deblurGANcontributer :leoluopy 欢迎提issue.欢迎watch ，star. 微信号：leoluopy 关注AI前沿技术及商业落地，欢迎交流 更多图像AI笔记分享：https://github.com/leoluopy/paper_discuss...
怎么运行github仓库的BlurGan
FrostMonarch的博客
11-19 503
BlurGan是用来把图像去模糊的。 github仓库： https://github.com/KupynOrest/DeblurGAN 调试成功的代码下载： https://pan.baidu.com/s/1dWTaMbeon80xfh9lJxKdpA 但是按照作者的步骤来跑却运行不起来，搞了大半天。现在可以对自己的图像去模糊。 测试条件： windows 10 64位 无安装c...
deblurGAN代码复现
qq_44941689的博客
04-12 5785
先从github上下代码压缩包，然后解压 DeblurGAN 安装调试笔记 最后我用的命令是： python test.py --dataroot ./path_to_your_data --model test --dataset_mode single --learn_residual --resize_or_crop RESIZE_OR_CROP 在下方命令行输入此命令。注意path_to_your_data文件夹的位置，里面放要去模糊的图片。 No module named dominate，就
tensorflow学习笔记——下载inception模型
wxsy024680的博客
03-14 5093
import tensorflow as tf import os import tarfile import requests #模型存放地址 inception_pretrain_model_dir = "inception_model" if not os.path.exists(inception_pretrain_model_dir): os.makedirs(inception_pretrain_model_dir) #模型下载地址 inception_pretrain_model_
利用超像素优化deblurgan-v2的pytorch代码
05-12
DeblurGAN-v2 是一种图像去模糊的深度学习模型，可用于将模糊图像转换为清晰图像。在该模型中，使用了超像素技术来提高去模糊的效果。下面是利用超像素优化DeblurGAN-v2的PyTorch代码： 首先，需要安装以下依赖库： ``` pip install opencv-python pip install scikit-image pip install numpy pip install torch pip install torchvision pip install pydensecrf ``` 然后，加载DeblurGAN-v2模型和测试图像，并生成超像素： ```python import cv2 import torch import numpy as np from skimage.segmentation import slic from skimage.segmentation import mark_boundaries from skimage.color import rgb2gray from models.networks import define_G from options.test_options import TestOptions from util import util from pydensecrf.densecrf import DenseCRF2D # 加载模型 opt = TestOptions().parse() opt.nThreads = 1 opt.batchSize = 1 opt.serial_batches = True opt.no_flip = True model = define_G(opt) util.load_checkpoint(model, opt.pretrained) # 加载测试图像 img_path = 'path/to/test/image' img = cv2.imread(img_path) img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) h, w, c = img.shape # 生成超像素 segments = slic(img, n_segments=100, sigma=5, compactness=10) ``` 接下来，将每个超像素作为输入，运行DeblurGAN-v2模型进行去模糊： ```python # 对每个超像素进行去模糊 result = np.zeros((h, w, c), dtype=np.float32) for i in np.unique(segments): mask = (segments == i).astype(np.uint8) masked_img = cv2.bitwise_and(img, img, mask=mask) if np.sum(mask) > 0: masked_img = masked_img[np.newaxis, :, :, :] masked_img = torch.from_numpy(masked_img.transpose((0, 3, 1, 2))).float() with torch.no_grad(): output = model(masked_img) output = output.cpu().numpy() output = output.transpose((0, 2, 3, 1)) output = np.squeeze(output) result += output * mask[:, :, np.newaxis] # 对结果进行后处理 result /= 255.0 result = np.clip(result, 0, 1) result = (result * 255).astype(np.uint8) ``` 最后，使用密集条件随机场（DenseCRF）算法对结果进行后处理，以进一步提高去模糊的效果： ```python # 使用DenseCRF算法进行后处理 d = DenseCRF2D(w, h, 2) result_softmax = np.stack([result, 255 - result], axis=0) result_softmax = result_softmax.astype(np.float32) / 255.0 unary = -np.log(result_softmax) unary = unary.reshape((2, -1)) d.setUnaryEnergy(unary) d.addPairwiseGaussian(sxy=5, compat=3) d.addPairwiseBilateral(sxy=20, srgb=3, rgbim=img, compat=10) q = d.inference(5) q = np.argmax(np.array(q), axis=0).reshape((h, w)) result = q * 255 ``` 完整代码如下： ```python import cv2 import torch import numpy as np from skimage.segmentation import slic from skimage.segmentation import mark_boundaries from skimage.color import rgb2gray from models.networks import define_G from options.test_options import TestOptions from util import util from pydensecrf.densecrf import DenseCRF2D # 加载模型 opt = TestOptions().parse() opt.nThreads = 1 opt.batchSize = 1 opt.serial_batches = True opt.no_flip = True model = define_G(opt) util.load_checkpoint(model, opt.pretrained) # 加载测试图像 img_path = 'path/to/test/image' img = cv2.imread(img_path) img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) h, w, c = img.shape # 生成超像素 segments = slic(img, n_segments=100, sigma=5, compactness=10) # 对每个超像素进行去模糊 result = np.zeros((h, w, c), dtype=np.float32) for i in np.unique(segments): mask = (segments == i).astype(np.uint8) masked_img = cv2.bitwise_and(img, img, mask=mask) if np.sum(mask) > 0: masked_img = masked_img[np.newaxis, :, :, :] masked_img = torch.from_numpy(masked_img.transpose((0, 3, 1, 2))).float() with torch.no_grad(): output = model(masked_img) output = output.cpu().numpy() output = output.transpose((0, 2, 3, 1)) output = np.squeeze(output) result += output * mask[:, :, np.newaxis] # 对结果进行后处理 result /= 255.0 result = np.clip(result, 0, 1) result = (result * 255).astype(np.uint8) # 使用DenseCRF算法进行后处理 d = DenseCRF2D(w, h, 2) result_softmax = np.stack([result, 255 - result], axis=0) result_softmax = result_softmax.astype(np.float32) / 255.0 unary = -np.log(result_softmax) unary = unary.reshape((2, -1)) d.setUnaryEnergy(unary) d.addPairwiseGaussian(sxy=5, compat=3) d.addPairwiseBilateral(sxy=20, srgb=3, rgbim=img, compat=10) q = d.inference(5) q = np.argmax(np.array(q), axis=0).reshape((h, w)) result = q * 255 # 显示结果 result = cv2.cvtColor(result, cv2.COLOR_RGB2BGR) cv2.imshow('result', result) cv2.waitKey(0) cv2.destroyAllWindows() ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猫猫与橙子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值