Real-World Super-Resolution via Kernel Estimation and Noise Injection(realSR)代码怎么跑起来？

已于 2022-10-08 15:16:48 修改
阅读量1.5k 收藏 3
点赞数 2
分类专栏： 深度学习 文章标签： python 人工智能 深度学习
于 2022-09-25 19:05:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40570751/article/details/127041373
版权

论文名称：Real-World Super-Resolution via Kernel Estimation and Noise Injection

代码地址：

https://github.com/Tencent/Real-SR

环境配置

可以按照仓库中给的库版本进行配置，也可以搜索basicSR的代码，配置basicSR环境

跑track1的代码

要运行这两个文件，首先要在path.yml中将路径修改,格式如下：

df2k:
  tdsr:
    source: '../../ntire20/Corrupted-tr-x'
    target: '../../ntire20/Corrupted-tr-y'
    valid:
datasets:       # 输出的目录
  df2k: '../datasets/DF2K'

确定输入输出路径：

输入：source是低分辨率图片，而target是高清图片。在df2k中：Corrupted-tr-x是NEIRE中的source data Corrupted-tr-y是高清的target data

输出：dataset:下的内容

如果是自己的数据集还有修改create_bicubic_dataset.py中的程序

因为还要将路径从yml文件中读取出来，赋值给变量

也是仿照tf2k的写法就可以了

elif opt.dataset == 'hcp':          # 通过读取yaml文件指定路径，这个也是通过键值对的形式，df2k就是有LR,HR对的，else里面是没有的那一种
    path_sdsr = PATHS['datasets']['hcp'] + '/generated/sdsr/'
    path_tdsr = PATHS['datasets']['hcp'] + '/generated/tdsr/'
    input_source_dir = PATHS['hcp']['tdsr']['source']
    input_target_dir = PATHS['hcp']['tdsr']['target']
    source_files = [os.path.join(input_source_dir, x) for x in os.listdir(input_source_dir) if utils.is_image_file(x)]
    target_files = [os.path.join(input_target_dir, x) for x in os.listdir(input_target_dir) if utils.is_image_file(x)]

然后开始下采样和采集噪声

create_bicubic_dataset.py 会进行下采样，然后，对源域和目标域进行下采样。

python3 ./preprocess/create_bicubic_dataset.py --dataset df2k --artifacts tdsr

这一步回创建dataset文件夹中的/generated/tdsr/中的hr和lr

collect_noise.py 好像就是把图像变成灰度，然后随机裁剪保留高频？

python3 ./preprocess/collect_noise.py --dataset df2k --artifacts tdsr

同样在运行这个程序的时候也要将collect_noise.py 中的路径更改

然后运行训练程序即可

bug:

https://github.com/Tencent/Real-SR/issues/16

按照方法2解决了

bug

ValueError: Required crop size (80, 80) is larger then input image size (50, 50)

self.noises = noiseDataset(opt['noise_data'], opt['GT_size']/opt['scale'])

这里是决定crop_size的

RuntimeError: The size of tensor a (192) must match the size of tensor b (96) at non-singleton dimension 3

应该是scale改了2但是没有起作用，还是4x超分了

RuntimeError: mat1 and mat2 shapes cannot be multiplied (16x4608 and 8192x100)

论文的判别器一定要是128或者是256.这可咋整

只能将<128的图片去掉

要求noise_img也大于64

【图像超分】论文精读：Real-World Super-Resolution via Kernel Estimation and Noise Injection（RealSR）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
05-03 706
最近最先进的超分辨率方法在理想数据集上取得了令人印象深刻的性能，而不管模糊和噪声。然而，这些方法在现实世界的图像超分辨率中总是失败，因为它们大多采用来自高质量图像的简单双三次下采样来构建低分辨率 (LR) 和高分辨率 (HR) 对进行训练，这可能会失去频率相关细节的轨迹。为了解决这个问题，我们专注于通过估计各种模糊核和真实噪声分布来为真实世界的图像设计一个新的退化框架。基于我们新颖的退化框架，我们可以获得与真实图像共享公共域的 LR 图像。然后，我们提出了一个旨在更好感知的真实超分辨率模型。对合成噪声数据和
超分 Super-Resolution
yang_daxia的博客
12-01 2846
1、入门 定义：超分即把一个低分辨率低图片恢复为高分辨率低图像 数据来源：把高分辨率低图片通过人工加噪声等方式变成高分辨率 卷积种类： 先上采样再恢复 先恢复再上采样 渐进式等上采样 循环式等上采样和下采样 损失函数：一般分为多种损失函数，使用不同等损失函数叠加。 基于像素的Pixel Loss 如L2\L1 基于内容的Content loss，如利用一个训练好的分类网络，对模型输出的图片和标注图像分别做分类，求loss 基于纹理的Texture Loss，如利用一个训练好的分类网络，.
Real-SR算法，实现真实图像超高分辨率处理
LU__JH的博客
06-01 6437
首先，先了解Real-SR算法： Real-SR是腾讯优图实验室提出一种新的图像超分辨率算法。该算法在CVPR-NTIRE-2020真实图像超分比赛中以明显优势获得双赛道冠军。
window下进行MM-RealSR项目调试
weixin_43723625的博客
02-13 561
MM-RealSR代码
ValueError: Required crop size (128, 64) is larger than input image size (119, 173)
weixin_44124168的博客
10-19 1530
训练自己的数据集时，由于输入图像的尺寸太小，无法满足所需的裁剪尺寸，导致出现了错误。具体来说，模型需要对输入图像进行裁剪以匹配所需的大小，但是输入图像的大小不足以支持这种裁剪。可能是由于deepsort数据集建立时，目标裁剪后分辨率太低（crop_size相关设置在_presets.py文件中）使用更大的数据集进行训练，以便模型能够更好地适应各种输入图像大小。增加输入图像的大小，使其能够支持所需的裁剪尺寸。调整模型的参数，使其能够适应较小的输入图像。batchsize设为1。这个错误提示表明在使用。
腾讯开源图像超分辨率算法RealSR源码以及预训练模型已经训练、测试的图片
02-18
由于RealSR源码以及预训练模型国内下载非常缓慢，这里将其下载好了打包； 还附带测试图片。 使用方法见 我的博客https://blog.csdn.net/liang_baikai/article/details/122988610
python list中的append 与 extended 的区别
chengyuhuo3319的博客
01-29 407
append: 说明：append() 方法用于在列表末尾添加新的对象。 使用方法： list.append(obj) # obj添加到列表末尾的对象；该方法无返回值，但是会修改原来的列表。 extend: 说明：extend() 函数用于在列表末尾一次性...
Ji-Real-World-Super-Resolution-via-Kernel-Estimation-and-Noise-Injection-CVPRW-2020-paper提供源码
03-20
RealSR是NTIRE 2020挑战赛的赢家，在真实世界的超分辨率[26]的两条轨道上，轨道1是通过图像处理artifacts合成的被破坏的数据，而轨道2是智能手机图像的真实数据。每个轨道提供的数据包括两个域。一个是包含噪声和...
Waifu4x
02-17
title = {Real-World Super-Resolution via Kernel Estimation and Noise Injection}, booktitle = {The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops}, month = {June}, ...
v4l2架构专题模块crop及selection分析 --- 从一个camera测试说起
ldl617的专栏
04-23 3461
Linux v4l2架构学习总链接 前天机芯部门给了我一个mipi的摄像头，让我接到rv1126上看看能不能抓到图。这个感觉简单啊，而且我们的摄像头都不需要配置寄存器。 这个摄像头参数：raw8，2lanes，512*192，25fps 复制一份imx291的代码直接修改，改完之后测试 测试方法如下： v4l2-ctl -d /dev/video0 --set-fmt-video=width=512,height=192,pixelformat=BG12 --stream-mmap=3 --st
v4l2架构专题模块crop及selection分析 --- 基于rv1126平台分析
ldl617的专栏
04-25 2404
Linux v4l2架构学习总链接 相关代码位置： https://gitee.com/ldl17/v4l2-learn/tree/master/rv1126-imx291 首先看crop的初始化代码 rkcif_plat_probe() -> rkcif_plat_init() -> rkcif_stream_init() #define RKCIF_DEFAULT_WIDTH 640 #define RKCIF_DEFAULT_HEIGHT 480 void rkcif_str
pytorch基础(二)-数据读取和图像tansformer方法
靓仔沾点健忘症，写给时间下游的自己
12-07 1364
数据读取和图像tansformer方法
RandomCrop的get_params函数中判断逻辑有问题？
qq_30615001的博客
03-22 717
RandomCrop的get_params函数逻辑不缜密
神经网络中resize、size、crop_size等含义
weixin_42535423的博客
07-17 6004
构造一个网络首先要保证数据流是通的，即各层的输出形状的是整数，不能是小数。至于构造出来的网络效果好不好，按下不表。只要数据流通畅，你的输入图像是什么形状的都无所谓了。 如果你的图像是边长为 256 的正方形。那么卷积层的输出就满足 [ (256 - kernel_size)/ stride ] + 1 ，这个数值得是整数才行，否则没有物理意义。例如，你算得一个边长为 7.7 的 feature map 是没有物理意义的。 pooling 层同理可得。FC 层的输出形状总是满足整数，其唯一的要求就是整个训练过
Tensorflow官网例程学习记录 图片的四种显示方式 数据加强
u010879745的博客
09-15 5913
print(image[0].shape) print(np.max(augmented_image[0],1).shape) 两种显示方式 plt.imshow(augmented_image[0].numpy().astype(“uint8”)) plt.imshow(augmented_image[0] / 255)) (160, 160, 3) (160, 3) np.max(a，1) np.argmax(a， 1) When you set layer.trainable = False, the
Pytorch 低端错误笔记
此木子
03-06 1万+
这里写自定义目录标题欢迎使用Markdown编辑器 欢迎使用Markdown编辑器 ValueError: Expected input batch_size (16) to match target batch_size (4). 原因：之前用的数据集输入尺寸为batch*3*32*32，每张图片尺寸为3*32*32,现在的是3*64*64，因此需要修改网络输入尺寸，否则Pytorch会将输入...
pytorch使用过程中遇到的警告
热门推荐
legalhighhigh的博客
11-04 1万+
1、UserWarning: invalid index of a 0-dim tensor. This will be an error in PyTorch 0.5. Use tensor.item() to convert a 0-dim tensor to a Python number #原语句： train_loss+=loss.data[0] #修改后： train_lo...
（Paper）Network in Network网络分析(还是有点疑惑)
qq_37791134的博客
09-04 1292
Network In Network学习笔记 原文地址：http://blog.csdn.net/hjimce/article/details/50458190 作者：hjimce 一、相关理论 本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper：《Network In Network》，过去一年已经有了好几百的引用量，这篇paper改进了传统的CNN网络，采用了少量的参数就松松...
pytorch API:随机裁剪
weixin_40132776的博客
12-17 1106
def imgAugTest(imgDir): img=Image.open(imgDir) print('the size of raw img:{}'.format(img.size)) cropImg=transforms.RandomResizedCrop(224)(img) print('the size of new img {}'.format(cropImg.size)) cropImg01=transforms.RandomResizedCrop(.
ValueError: &#39;Target size must be the same as input size&#39;的解决方
最新发布
03-31
<think>嗯，用户遇到了一个ValueError，错误信息是“Target size must be the same as input size”。我需要仔细分析这个问题，找出可能的原因和解决方法。首先，这个错误通常发生在使用PyTorch进行深度学习模型训练的时候，尤其是在计算损失函数时，比如交叉熵损失（CrossEntropyLoss）或者均方误差损失（MSELoss）。接下来，我得回忆一下常见的触发场景。 首先，输入和目标的形状不匹配可能是主要原因。比如，CrossEntropyLoss期望的输入是未经归一化的原始分数（logits），形状通常是(batch_size, num_classes)，而目标应该是(batch_size)的标签，每个元素是类别的索引。如果目标被错误地做成了one-hot编码，形状可能变成(batch_size, num_classes)，这时候就会报错。这时候需要检查目标的形状，确保是1D的张量，或者使用squeeze()去掉多余的维度。 其次，模型的输出可能不符合预期。例如，模型最后没有正确的输出层，导致输出维度与类别数不符。比如，分类任务中，模型的最后一层应该输出num_classes个节点，如果输出节点数不对，输入损失函数时就会形状不匹配。这时候需要检查模型的输出层，确认输出维度是否正确。 另外，数据预处理的问题也可能导致形状不一致。比如图像任务中，输入图像可能被错误地调整了尺寸，导致模型输出的特征图尺寸与目标尺寸不符。这时候需要检查数据预处理步骤，确保输入和目标的尺寸匹配。 还有，损失函数的选择是否正确。比如，使用MSELoss时，输入和目标的形状必须完全相同，而CrossEntropyLoss则对形状有特定要求。如果选错了损失函数，或者输入与损失函数的要求不符，就会报错。需要确认损失函数是否适合当前任务，并检查输入和目标的形状是否符合该损失函数的要求。 此外，批量处理时可能存在不一致的情况。比如，某些样本被错误地处理，导致在一个批次中出现不同的形状。这时候需要检查数据加载器，确保每个批次的数据形状一致。 总结下来，解决这个问题的步骤大致是：首先打印输入和目标张量的形状，确认是否匹配；然后检查模型输出层的维度是否正确；接着检查数据预处理流程；再核对损失函数的选择是否符合预期；最后确保批量处理的数据一致性。通过这些步骤，逐步排查问题所在，并进行相应的调整，应该能够解决这个ValueError。</think>在PyTorch中遇到`ValueError: &#39;Target size must be the same as input size&#39;`错误时，通常是因为**损失函数输入张量（模型输出）与目标张量的形状不匹配**。以下是逐步排查和解决方法： --- ### 1. 明确错误场景 常见于以下损失函数： - **交叉熵损失**（`CrossEntropyLoss`）：输入应为 `(batch_size, num_classes)`，目标应为 `(batch_size)` 的类别索引。 - **均方误差损失**（`MSELoss`）：输入和目标的形状必须完全相同。 --- ### 2. 检查张量形状 **步骤：** 1. **打印输入和目标张量的形状**： ```python print("Input shape:", outputs.shape) # 模型输出 print("Target shape:", targets.shape) # 真实标签 ``` 2. **对比形状差异**： - 例如：若输出是 `(batch_size, 10)`（10分类任务），但目标是 `(batch_size, 1)`，需将目标压缩为 `(batch_size)`： ```python targets = targets.squeeze() # 删除多余的维度 ``` - 若目标是one-hot编码（如 `(batch_size, num_classes)`），需转换为类别索引： ```python targets = torch.argmax(targets, dim=1) ``` --- ### 3. 检查模型输出层 **问题原因**： - 模型最后一层输出维度与类别数不符。 **示例修正**： - 分类任务中，若类别数为5，最后一层应为： ```python self.fc = nn.Linear(hidden_dim, 5) # 输出维度=类别数 ``` --- ### 4. 检查数据预处理 **图像任务示例**： - 若输入图像尺寸为 `224x224`，但目标（如分割掩码）被错误调整为 `112x112`，需确保输入和目标的尺寸一致： ```python transform = transforms.Compose([ transforms.Resize((224, 224)), # 调整输入 transforms.ToTensor(), ]) ``` --- ### 5. 核对损失函数选择 **常见要求**： - **`CrossEntropyLoss`**： 输入形状：`(batch_size, num_classes)` 目标形状：`(batch_size)` 无需对输入做softmax（损失函数内部已处理）。 - **`BCEWithLogitsLoss`**： 输入形状：`(batch_size, *)`（未归一化的概率） 目标形状：`必须与输入相同`。 --- ### 6. 示例修正代码 **错误代码**： ```python outputs = model(inputs) # shape=(32, 10) targets = torch.randn(32, 1) # shape=(32, 1) loss = criterion(outputs, targets) ``` **修正方法**： ```python outputs = model(inputs) # shape=(32, 10) targets = torch.randint(0, 10, (32,)) # shape=(32,) loss = criterion(outputs, targets) ``` --- ### 总结 1. **打印形状**：确认输入和目标的维度。 2. **调整维度**：使用`view()`、`squeeze()`或`unsqueeze()`对齐形状。 3. **检查模型**：确保输出层维度匹配任务需求。 4. **核对数据流**：确保预处理后的数据形状一致。 通过逐步排查输入、目标和模型的形状，即可定位并解决该问题。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值