【基于BasicSR的GCFSR复现踩坑】

已于 2023-04-17 17:15:30 修改
阅读量1.6k 收藏 39
点赞数 15
分类专栏： # 深度学习 学习记录 文章标签： 计算机视觉 深度学习 人工智能
于 2023-03-21 10:46:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44853527/article/details/129681762
版权

写在前面：本博客仅作记录学习之用，部分图片来自网络，如需引用请注明出处，同时如有侵犯您的权益，请联系删除！

文章目录

前言

超分辨率是指将低分辨率图像通过算法提升其分辨率，使其看起来更加清晰、细腻。在计算机视觉领域，超分辨率技术应用广泛，包括图像处理、视频压缩、安防监控等。

为了进行超分辨率项目开发，需要配置相应的环境。一般来说，超分辨率算法需要依赖于深度学习框架和图像处理库等多个组件。

GCFSR是一种无需GAN先验的生成式超分辨率方法，旨在提高人脸图像的分辨率。该方法采用了Encoder-Generator架构，并设计了样式调制模块和特征调制模块。其中，样式调制模块用于生成逼真的面部细节，特征调制模块用于动态融合多级编码特征和生成特征，进而实现超分辨率。

相较于其他超分辨率方法，GCFSR的一个优点在于无需预训练的GAN模型，以及不需要设计额外的模块来利用GAN先验中的信息。此外，GCFSR还可以实现自适应调整不同强度的样式来生成不同的超分辨率结果，更具有灵活性。

GCFSR的源代码已在Github(GCFSR)上公开发布，并提供了相关论文、项目页面和演示。该方法为人脸超分辨率提供了一种新的思路，也为其他超分辨率领域的研究提供了借鉴和参考。

BasicSR

BasicSR是一款基于PyTorch框架开发的超分辨率（SR）和图像恢复模型库。它提供了大量预训练模型和用于训练新模型的代码和工具，以帮助研究人员和工程师高效地进行SR和图像恢复任务的研究和应用。

basicSR的优点包括：

多种超分辨率和图像恢复算法：basicSR支持多种流行的SR算法，如SRCNN、ESPCN、EDSR等，还提供了多种其他的图像恢复算法，例如去噪、去卷积等。

可扩展性：基于PyTorch框架的设计使得basicSR可以方便地进行扩展和自定义，用户可以按需添加自己的算法或改进现有算法。

高效性：basicSR实现了诸多加速技术，如混合精度训练、异步数据加载等，以在保持高精度的同时提高训练和推理效率。

丰富的文档和教程：在GitHub上，basicSR提供了详尽的文档和使用教程，指导用户如何使用库中的不同算法和API，并以图像超分辨率为例介绍了其基本原理和应用。

在这里插入图片描述

快速开始

Pytorch与cuda

查看cuda版本

查看自身的cuda版本，很重要，否则算力框架不匹配：

  • nvcc --version
  • nvcc -V

或者利用torch查看

import torch
print(torch.__version__)  # 查看torch当前版本号
print(torch.version.cuda)  # 编译当前版本的torch使用的cuda版本号
print(torch.cuda.is_available())  # 查看当前cuda是否可用于当前版本的Torch

还不会的参考这里 这个比较详细，应该可以帮到你。

安装对应的Pytorch

建议去查询与之对应的pytorch版本：torch与cuda版本匹配网址
这里以10.2为例，选择其中cudatoolkit=10.2即可。千万别就看requirement中的torch版本，单独pip或者conda install torch==xxx，容易出现cudatoolkit与cuda不匹配的情况。
在这里插入图片描述
运行其中的命令就等着ok就好了。

GCFSR的项目配置

哟，看着readme.md还简单，照着步骤走就行了。let us go!
在这里插入图片描述
在这里插入图片描述

无法推理只能倒回去看过程：

按照以上步骤是半可行的：

  • 首先：有git就克隆，没有就下载压缩包。
    注意：如果自行安装了torch就把requirement的中的torch去掉，避免版本变更。
  • 编译：setup编译呗。
  • 推理：如果说cuda,kernel,或者sm_86之列的计算框架问题，恭喜你，torch和cuda版本不一致，考虑计算框架的能力。即如cuda和gpu矛盾，如A5000系列显卡就是sm_86.

sm_xx代表NVIDIA GPU架构的编译选项，其中xx为两位数字。通常情况下，sm_xx与PyTorch版本之间并没有明确的匹配关系，而是与CUDA版本和GPU架构有关。一般来说，PyTorch版本需要与CUDA版本匹配，而CUDA版本需要与GPU架构匹配。需要注意的是，不同的GPU架构支持的CUDA版本可能存在差异，因此在选择GPU、CUDA和PyTorch版本时需要仔细考虑。如果您遇到了版本兼容性问题，可以尝试升级或降级相关的软件包

此时，参考上述安装对应的cuda版本有可能解决问题。

训练命令

python basicsr/train.py -opt options/train_gcfsr_gan.yml

在这里插入图片描述

  • root_path: 可自己指定项目路径。

获取训练可选的参数，使用参数-h：

python basicsr/train.py -opt options/train_gcfsr_gan.yml -h

在这里插入图片描述

  • –opt：配置文件路径
  • –launcher：分布式训练，用于指定 distibuted training的，比如 pytorch或者slurm。单卡训练不用设置。
  • –auto_resume：是否自动继续训练。即自动查找最近的权重，然后加载权重进行训练。程序中断或者继续训练，可在命令行中添加这个参数。
  • –debug：用于调试，确保能正常的前向传播、反向，日志和权重保存等没有问题，及时发现问题进行修改。
  • –local_rank：不用管，是distributed training中程序自动会传入。

Train_pipeline 函数

主要的函数，参考图中注释。主要包括了解析配置文件，断点训练，日志系统、tensorboard、以及创建模型进行训练。
在这里插入图片描述
在这里插入图片描述

参数解析

这部分和使用-h是差不多的。
在这里插入图片描述

Resume

主要使用到配置文件中：auto_resume 选项。

在这里插入图片描述

Logger

主要进行写日志以及保存。
在这里插入图片描述

Good Luck logo

如果对这个BasicSR有想法，可以自己改哈。

在这里插入图片描述

Dataloader

主要使用到配置文件中：datasets、dataset_enlarge_ratio、batch_size_per_gpu、total_iter、num_gpu等选项。
在这里插入图片描述

配置文件详解

左侧为配置文件，右侧为注册的对应名字类，主要是想说明配置文件要和使用的类名对应。配置的解释，见绿色注释。
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
损失函数可替换为右侧文件中的其他损失。
在这里插入图片描述

在这里插入图片描述

动态实例化与REGISTER注册机制

膜拜Xintao大佬，有所参考，宣传BasicSR。

动态实例化

在这里插入图片描述

传统的OpenMMlab，需要__init__.py 中把写好的网络结构显式地import进来。每写一个新的网络结构，就要去更新 init.py，很繁琐。
因此在 BasicSR，约定凡是网络结构的文件都以 _arch.py 结尾，模型都以以_model.py结尾，数据集以 _dataset.py结尾，然后python在import的时候，会自动扫描以 _arch.py、 _model.py结尾的脚本，自动把所有的符合命名的类都import进去。
在这里插入图片描述

这样一来，写网络结构本身、模型和修改配置文件，就改动三个文件就ok了，也就是下文的三步走。

注册机制

动态实例化存在问题：

  • 类重名会导致加载错误
  • Init会把所有的类、函数都import进来，这是冗余的，因为很多类和函数都是中间的量

注册以解决上述问题：

  1. 会强制检查有没有同名的，减少了bug。
  2. 只有在需要注册的类或函数 register，其他中间量就不会被注册了。

注册借助于下面两个函数：

在这里插入图片描述

模型修改（三步走）

第一步：修改网络结构

此处简单的示意了修改通道，具体修改还看自己的想法。
在这里插入图片描述
需要修改其中的通道。

self.final_linear = EqualLinear(参数要改)

第二步：修改配置文件

此处示意了修改了退化的类型，需要因地制宜。
在这里插入图片描述

第三步：修改模型文件

此处简单示意了修改保存内容和非分布式验证方式。
在这里插入图片描述
基本上根据这三步走，只要能正确修改，就可以开始玄学炼丹了。

GCFSR踩坑及解决

NameError: name ‘fused_act_ext’ is not defined

  1. 有解决办法说下面这个，测试没有用，大哭
pip3 install ninja
  1. 到 basicsr\ops\fused_act\fused_act.py 修改下列第一个语句为Ture
    参考： python 学习笔记18 GFPGAN人脸(图片)修复
    在这里插入图片描述
  • 再次运行：NameError: name ‘upfirdn2d_ext’ is not defined
    解决：到\basicsr\ops\upfirdn2d\upfirdn2d.py 修改下列第一个语句为Ture

在这里插入图片描述

最后推理主程序，也设置为ture就欧克了。
在这里插入图片描述

特征图尺寸小于卷积核

 train_pipeline(root_path)
  File "basicsr/train.py", line 173, in train_pipeline
    model.optimize_parameters(current_iter)
  File "/home/tang/work/QXD/GCFSR/basicsr/models/model.py", line 222, in optimize_parameters
    fake_pred = self.net_d(fake_img.detach())
  File "/home/tang/work/Anaconda/env/sr-gan/lib/python3.7/site-packages/torch/nn/modules/module.py", line 550, in __call__
    result = self.forward(*input, **kwargs)
  File "/home/tang/work/QXD/GCFSR/basicsr/archs/arch.py", line 1006, in forward
    out = self.conv_body(x)
RuntimeError: Calculated padded input size per channel: (2 x 2). Kernel size: (3 x 3). Kernel size can't be greater than actual input size

一看就是特征图小了，直接定位到下面的代码，为什么？因为to_rgb()设置了upsample=True是会上采样的，但是输出还是16x16，显然没有进入该循环。

 for conv1, conv2, noise1, noise2, to_rgb in zip(self.style_convs[::2], self.style_convs[1::2], noise[1::2], noise[2::2], self.to_rgbs):
            out = conv1(out, latent[:, i], noise=noise1)
            out = conv2(out, latent[:, i + 1], noise=noise2)
            skip = to_rgb(out, latent[:, i + 2], skip)


self.to_rgbs.append(ToRGB(out_channels, num_style_feat, upsample=True, resample_kernel=resample_kernel))

分析原因，zip函数能够把多个可迭代对象打包成一个元组构成的可迭代对象，但是却取决于其中最短的迭代对象，发现noise长度是0，因此不会进循环。解决办法就是把noise去掉。

for conv1, conv2, to_rgb in zip(self.style_convs[::2], self.style_convs[1::2],  self.to_rgbs):
            out = conv1(out, latent[:, i], noise=None)
            out = conv2(out, latent[:, i + 1], noise=None, scale1=scales1[j], scale2=scales2[j], shift=shifts[j])
            skip = to_rgb(out, latent[:, i + 2], skip)

或者另外的途径：
由下列图像发现，noise是none是会生成层数相等的none的列表，是可以实现进入循环的。
在这里插入图片描述
进一步，发现实际输入的noise是来之数据加载中的in_size，因此直接在数据处理后不返回in_size也可以实现相同的效果。
在这里插入图片描述
但是在val阶段会导致生成的图像尺寸还是16x16，在不使用val是可以这么做的，具体原因留给后面。

无法加载自己训练的权重

三步走后，顺顺利利的训练和保存了权重，本就打算测试下效果，没曾想加载不了，就是下图的错。
在这里插入图片描述
不仅不能加载，还多了给ema的键，没办法，打印下看看有些什么键值对。

net = torch.load(args.model_path)
for k in net.keys():
    print(k)
#'params', 'params_ema'

确实，由参数和ema，因此只需要加载参数即可，像下面一样。

model.load_state_dict(torch.load(args.model_path, map_location=device)['params'], strict=True)

这样了不得不看下怎么保存的权重，果然是保存的问题，保存的不仅仅是网络参数还有ema的参数。
在这里插入图片描述
简单百度下：EMA（指数移动平均）这个方法对模型的参数做平均，以求提高测试指标并增加模型鲁棒。大概是为了断点训练把，不保存ema也能加载，影响的是ema的效果。

恢复效果

这是GCFSR的效果，不是自己跑出来的，效果还不错。
在这里插入图片描述

复现代码平台推荐

对于自己的数据集，无法直接引用别人论文结果，需要自己复现进行比较，极力推荐AutoDL，一个小时几毛，很良心。
在这里插入图片描述

致谢

欲尽善本文，因所视短浅，怎奈所书皆是瞽言蒭议。行文至此，诚向予助与余者致以谢意。

东荷新绿
关注
  • 15
    点赞
  • 踩
  • 39
    收藏
    觉得还不错? 一键收藏
  • 54
    评论
专栏目录
OPINIONDIGEST复现
07-27
OPINIONDIGEST复现
标签risc-v复现踩坑指南1
08-03
前言目录硬件配置启动模式设置风扇开发环境系统工具链Xilinx 的工具交叉编译工具链RISC-V Proxy Kernel准备 SD 卡Arm Trusted
BasicSR学习笔记
qq_43350330的博客
12-30 2474
basicSR学习笔记
基于Matlab的计算复现.zip
03-12
人工智能-matlab
Python中对错误NameError: name ‘xxx’ is not defined进行总结
04-30
最近在使用python过重遇到这个问题，NameError: name 'xxx' is not defined，在学习python或者在使用python的过程中这个问题大家肯定都遇到过，在这里我就这个问题总结以下几种情况： 错误NameError: name ‘xxx’ is not defined总结情况一：要加双引号（” “）或者（’ ‘）而没加情况二：字符缩进格式的问题情况三：`if __name__==’__main__’ :` 没有和`class类`进行对齐情况四：NameError: name ‘file’ is not defined情况五：NameError: name ‘模
基于pytorch的DenseFuse复现.zip
11-10
基于pytorch的DenseFuse复现.zip
python 学习笔记18 GFPGAN人脸(图片)修复
wzhang1987的博客
12-20 7745
老实说这个和学习没啥关系，就是一个python解决方案的实践。 觉得有趣就试了一下，先上链接： 官方：https://github.com/TencentARC/GFPGAN/blob/master/README.md 这是个高分项目，用于人脸（在逐渐拓展到其他图像类别，如背景）图像修复。如下图： 腾讯 AI 的研究人员提出了他们的新GFP-GAN 模型，以在一次前向传递中实现真实性和保真度的良好平衡。该模型由退化去除模块和预先训练的人脸生成器组成。它们通过直接潜在代码映射连接到使用 CS SFT
name ‘fused_act_ext’ is not defined
JM的博客
09-15 573
【代码】name ‘fused_act_ext’ is not defined。
老照片修复
qq_36226586的博客
07-10 286
【代码】老照片修复。
NameError: name ‘xxx‘ is not defined问题总结
热门推荐
le000426的博客
12-21 15万+
最近在使用python写实验遇到这个问题： NameError: name ‘xxx’ is not defined 在学习python或者在使用python的过程中这个问题大家肯定都遇到过，在这里我就这个问题总结以下几种情况： 错误NameError: name ‘xxx’ is not defined总结 情况一：要加双引号（" "）或者（’ '）而没加 情况二：字符缩进格式的问题 情况三：if __name__=='__main__' : 没有和class类进行对齐 情况四：NameError: na
GFPGAN源码分析—第十一篇
Vaifer233的博客
12-27 1931
2021SC@SDUSC 源码： models\gfpgan_model.py 本篇分析models\gfpgan_model.py下的 class GFPGANModel(BaseModel) 类的部分方法 目录 class GFPGANModel(BaseModel) gray_resize_for_identity() optimize_parameters(self, current_iter) class GFPGANModel(BaseModel) gray_.
BasicSR:用于超分辨率，去噪，去模糊等的开源图像和视频恢复工具箱。当前，它包括EDSR，RCAN，SRResNet，SRGAN，ESRGAN，EDVR等。还支持StyleGAN2，DFDNet
05-10
:rocket: 基本SR | | Google Colab： | :circled_M: :fast_down_button: Google云端硬盘： | :fast_down_button:百度网盘：| :file_folder: :fast_down_button: :fast_down_button:（提取码：basr） :chart_increasing: :laptop: :high_voltage: BasicSR（基本S- UPERřestoration）是基于PyTorch一个开源图像和视频恢复工具箱，如超分辨率，降噪，去模糊，JPEG伪像的去除，等等。 （ ， ， ， ） （ ， ， ， ） :sparkles: 新的功能 2020年11月29日。添加ESRGAN和DFDNet 。 2020年9月8日。添加盲人脸恢复推理代码： 。 2020年8月27日。添加StyleGAN2培训和测试代码： 。 更多的 2020年9月8日。添加盲人脸恢复推理代码： DFDNet 。 ECCV20：通过深度多尺度组件字典进行盲人脸恢
基于现有的YOLOv5复现及其说明
02-27
基于现有的YOLOv5复现及其说明 将Ultralytics公司的Glenn Jocher参与的YOLO进行复现，使用自己的数据训练并预测
基于Matlab复现深度网络（源码+数据）.rar
05-08
1、资源内容：基于Matlab复现深度网络（源码+数据）.rar 2、适用人群：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业或毕业设计，作为“参考资料”使用。 3、更多仿真源码和数据集下载列表（自行寻找自己需要的）：https://blog.csdn.net/m0_62143653?type=download 4、免责声明：本资源作为“参考资料”而不是“定制需求”不一定能够满足所有人的需求，需要有一定的基础能够看懂代码，能够自行调试，能够自行添加功能修改代码。由于作者大厂工作较忙，不提供答疑服务，如不存在资源缺失问题概不负责，谢谢理解。
基于paddlepaddle复现MODNet
02-19
基于paddlepaddle复现MODNet 代码地址：https://github.com/PaddlePaddle/PaddleSeg.git 视频网址：https://www.bilibili.com/video/BV15r4y1r7rf/ 博客网址：https://blog.csdn.net/eton_liu/article/details/123020138
计算机视觉 CV 八股分享 [自用]（更新中......）
bieliwuguiqi的博客
04-21 1338
梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）传统的神经网络通常是基于BP算法优化权重参数的，即通过损失函数计算的误差通过梯度反向传播的方式对神经网络中的权重进行更新，其中用到的是连乘形式的链式法则。产生的原因一般是深层网络或是权重初始化过大的情况，伴随着传统神经网络的链式法则，梯度会越来越大，训练过程中，很容易使得权重的值也越来越大导致溢出等情况。训练时间和泛化误差的权衡。
深度学习之基于YOLOv5电线电缆目标检测系统
Q1744828575的博客
04-29 719
项目简介：深度学习之基于YOLOv5电线电缆目标检测系统本项目致力于开发一套基于深度学习的电线电缆目标检测系统，该系统利用YOLOv5算法实现电线电缆的实时检测和识别。通过深度学习技术，我们能够自动提取电线电缆的特征，进而实现对电线电缆目标的快速、准确检测。一、项目背景与意义电线电缆作为电力传输和信号传输的重要基础设施，其安全性和可靠性对于各个领域至关重要。然而，在实际应用中，电线电缆可能因各种原因出现缺陷或故障，如绝缘破损、接触不良等。
密文域可逆信息隐藏技术综述（上）
q15516221118的博客
04-29 472
密文域可逆信息隐藏技术综述
【yolov8目标检测部署】TensorRT int8量化
最新发布
王尼莫的博客
04-29 627
模型量化是深度学习领域中一种重要的模型优化技术，它主要涉及将模型中的浮点数（如FP32）转换为低比特的格式（如INT8）。这样做的目的是为了减少模型的存储大小和内存占用，同时加快模型的推理速度，尤其在硬件资源受限的设备上效果显著。模型量化的方法：1. 训练时量化也叫量化感知训练（Quantization-Aware-Training,QAT），在训练过程中模拟量化操作，使模型适应量化，减少量化误差。
基于pytorch复现deeplabv3+源码
06-06
抱歉，由于回答这个问题涉及到版权问题，我不能给您提供完整的代码。不过，我可以给您提供一个基于 PyTorch 实现的 DeepLabv3+ 的代码库，您可以从中学习和参考实现细节。 这个代码库是由 PyTorch 官方提供的，使用了深度学习框架 PyTorch 实现了 DeepLabv3+ 算法，并提供了预训练模型和训练脚本，可以用于实现图像语义分割任务。您可以通过以下链接获取代码库： https://github.com/pytorch/vision/tree/master/torchvision/models/segmentation/deeplabv3_plus 在代码库的 README.md 文件中，您可以找到详细的使用说明和示例代码，帮助您快速理解和使用该代码库。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 54
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值