基于Paddle复现《Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images》降噪网络

最新推荐文章于 2023-06-09 16:33:24 发布
最新推荐文章于 2023-06-09 16:33:24 发布
阅读量1.7k 收藏 17
点赞数
文章标签： 深度学习 paddle paddlepaddle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/txyugood/article/details/124548079
版权

论文地址:

https://arxiv.org/abs/2101.02824

原repo:

https://github.com/TaoHuang2018/Neighbor2Neighbor

Paddle复现Repo:

https://github.com/txyugood/Neighbor2Neighbor_Paddle

1.简介

近年来，由于神经网络的快速发展，图像降噪也从中获得了巨大的好处。然而，由于需要大量的噪声-干净的图像对来进行模型的监督训练，限制了这些模型的推广。虽然已经有一些尝试训练一个只有单个噪声图像的图像去噪模型，但现有的自监督去噪方法存在网络训练效率低、有用信息丢失或依赖于噪声建模等问题。在这篇论文中，作者提出了一种非常简单但有效的方法，可以训练仅含噪声图像的图像去噪模型，名为Neighbor2Neighbor。
首先，提出一种随机邻域子采样器来生成训练图像对。具体的说，用于训练的输入和输出是从同一噪声图像中的子采样图像，满足了成对图像的对应像素是相邻的，同时彼此是相似的。其次，在第一阶段生成的子图片对去训练网络，并使用正则化器作为额外的损失以获得更好的性能。

上图是Neighbor2Neighbor架构概述。（a）训练的完整视图。通过噪声图片使用相邻子采样器生成一对图片。降噪网络分别使用g1(y)和g2(y)作为输入和目标。损失包含两个部分，左边部分，计算网络输出和噪声目标之间的Lrec。右边部分，考虑到子采样噪声图像和真实值之间的差异，进一步添加了损失Lreg。应该提到的是，出现两次的邻域子采样器（绿色）代表的是同一个邻域子采样器。(b)使用训练后的网络进行推理。

2.复现精度

在BSD300测试集的测试效果如下表,达到验收指标,PSNR: 30.79, SSIM:0.873。

Networkoptepochbatch_sizedatasetPSNRSSIM
N2NAdam1004BSD30030.910.877

每一个epoch的精度可以在train.log或A_log_BSD300.csv中查看。

3.数据集

代码地址:

下载地址:

https://aistudio.baidu.com/aistudio/datasetdetail/137360

数据集下载解压后需要进行预处理。执行以下命令。

cd /home/aistudio/data/
tar xvf /home/aistudio/data/data137360/ILSVRC2012_img_val.tar
cd /home/aistudio/Neighbor2Neighbor_Paddle/
python dataset_tool.py --input_dir /home/aistudio/data/ILSVRC2012_img_val --save_dir /home/aistudio/data/Imagenet_val

4.环境依赖

PaddlePaddle == 2.2.0

5.快速开始

模型训练

运行一下命令进行模型训练，在训练过程中会对模型进行评估，同时训练日志保存在train.log中。训练过程中的每一次评估指标都保存在result/unet_gauss25_b4e100r02/目录中。

python -u train.py --data_dir=/home/aistudio/data/Imagenet_val/ \
--val_dirs=./validation --noisetype=gauss25 --save_model_path=./results \
--log_name=unet_gauss25_b4e100r02 --increase_ratio=2

参数介绍：

data_dir:数据集路径

val_dirs:测试集路径

noisetype:噪声类型，根据验收指标，目前只支持gauss25。

save_model_path:模型保存路径

log_name:验证结果保存路径

increase_ratio:损失函数中Lambda的系数

模型验证

除了可以再训练过程中验证模型精度，还可以是val.py脚本加载模型验证精度，执行以下命令。

python val.py --model_path best_model.pdparams

W0409 16:44:58.220067 32686 device_context.cc:447] Please NOTE: device: 0, GPU Compute Capability: 7.0, Driver API Version: 10.1, Runtime API Version: 10.1
W0409 16:44:58.224027 32686 device_context.cc:465] device: 0, cuDNN Version: 7.6.
Loading pretrained model from best_model.pdparams
There are 50/50 variables loaded into UNet.
[EVAL] BSD300: psnr:30.910791861936413 ssim:0.8766264295802032

单张图片预测

本项目提供了单张图片的预测脚本，可生成降噪图片。使用方法如下：

cd /home/aistudio/Neighbor2Neighbor_Paddle/
python predict.py --image_path demo/42012_noise.png --model_path best_model.pdparams --save_dir ./demo/

参数说明：

image_path:需要预测的图片

model_path: 模型路径

save_dir: 输出图片保存路径

预测样例:


从左到右分别是clear、nosie、denoise

从左到右分别是clear、nosie、denoise

模型导出

模型导出可执行以下命令：

python export_model.py --model_path best_model.pdparams --save_dir ./output/

参数说明：

model_path: 模型路径

save_dir: 输出图片保存路径

Inference推理

可使用以下命令进行模型推理。该脚本依赖auto_log, 请参考下面TIPC部分先安装auto_log。infer命令运行如下：

cd /home/aistudio
git clone https://gitee.com/Double_V/AutoLog
cd /home/aistudio/AutoLog/
!pip3 install -r requirements.txt
!python3 setup.py bdist_wheel
!pip3 install ./dist/auto_log-1.2.0-py3-none-any.whl

python infer.py --use_gpu=False --enable_mkldnn=False --cpu_threads=2 \
--model_file=output/model.pdmodel --batch_size=2 \
--input_file=validation/BSD300/test --enable_benchmark=True \
--precision=fp32 --params_file=output/model.pdiparams \
--save_dir output/inference_img

参数说明:

use_gpu:是否使用GPU

enable_mkldnn:是否使用mkldnn

cpu_threads: cpu线程数

model_file: 模型路径

batch_size: 批次大小

input_file: 输入文件路径

enable_benchmark: 是否开启benchmark

precision: 运算精度

params_file: 模型权重文件，由export_model.py脚本导出。

save_dir: 保存推理预测图片的路径

TIPC基础链条测试

该部分依赖auto_log，需要进行安装，安装方式如下：

auto_log的详细介绍参考https://github.com/LDOUBLEV/AutoLog。

cd /home/aistudio/Neighbor2Neighbor_Paddle/
bash test_tipc/prepare.sh test_tipc/configs/N2N/train_infer_python.txt 'lite_train_lite_infer'

bash test_tipc/test_train_inference_python.sh test_tipc/configs/N2N/train_infer_python.txt 'lite_train_lite_infer'

测试结果如截图所示：

6.代码结构与详细说明

Neighbor2Neighbor_Paddle
├── A_log_BSD300.csv  # 验证模型日志
├── README.md  # 说明文件
├── arch_unet.py # 模型架构
├── best_model.pdparams # 最优模型权重
├── dataset.py # 数据集代码
├── dataset_tool.py # 数据集转换文件
├── export_model.py # 模型导出代码
├── imgs # Readme中的图片资源文件
├── infer.py # 推理代码
├── param_init.py # 模型参数初始化方法
├── test_tipc # TIPC 测试
├── train.log # 训练日志
├── train.py # 训练脚本
├── utils.py # 工具
├── val.py #验证脚本
└── validation # 验证数据集

7.模型信息

信息描述
模型名称N2N
框架版本PaddlePaddle==2.2.0
应用场景降噪
人工智能研习社
关注
遇到问题–python–pytest: error: unrecognized arguments: --cov-report=html
直到世界的尽头
12-04 3万+
转载请注明出处：遇到问题–python–pytest: error: unrecognized arguments: --cov-report=html 问题 pytest可以输出覆盖率的html报告 使用命令如下： pytest -vv --cov=./ --cov-report=html open htmlcov/index.html 有可能遇到报错： (venv) zhangxiaofa...
Neighbor2Neighbor:Neighbor2Neighbor
04-11
Neighbor2Neighbor：单个噪声图像的自我监督降噪 针对CVPR 2021接受的论文的Pytorch正式实施，将很快发布。 资源 引文 @misc{huang2021neighbor2neighbor, title={Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images}, author={Tao Huang and Songjiang Li and Xu Jia and Huchuan Lu and Jianzhuang Liu}, year={2021}, eprint={2101.02824}, archivePrefix={arXiv}, primaryClass={eess.IV} }
图像去噪——Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images
qq_42208244的博客
07-16 1985
自监督图像去噪
Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images
08-20 2469
下面内容来自智源研究院CVPR2021预讲华为诺亚专场 1、深度学习的图像去噪方法面临的挑战 当前方法主要包括三类： 基于监督学习的方法：使用 noisy-clean 图像对进行训练（DnCNN, FFDNet, CBDNet, SGNet）。这类方法的难点在于，在真实场景中，比较难以获取 noisy-clean 的图像对 Noise2Noise（ICML18）：使用 Noisy-noisy 图像对进行训练，每个场景都需要 multiple independent observations 。在应.
Nb2Nb:此代码实现本文的代码“ Neighbor2Neighbor
05-08
Nb2Nb 该项目旨在了解论文“ Neighbor2Neighbor：来自单噪声图像的自我监督降噪”的思想。 由于此代码是非官方的实现，因此某些细节可能与本文的原始说明有所不同。 为了更容易理解基础理论，所有代码均由Python和Tensorflow编写。 样品结果 所有结果均在上进行了测试 嘈杂的影像 去噪结果 更新 测试文件（包括经过训练的模型）已上传。 主要测试文件是“ test.py”，可以通过输入命令轻松运行。 python test . py - s saves - n nets . Unet - d dataDir - r resultDir “ dataDir”指定测试数据目录，“ resultDir”是保存结果的路径。 要渲染“ .mat”数据，请使用“ 。 更多培训文件将尽快上载。 未完待续 ...
Neighbor2Neighbor源码解读
qq_42948594的博客
05-11 3109
前言 Neighbor2Neighbor属于自监督去噪中算法，通过训练后可以对任意尺寸的图像进行去噪，现在对去噪代码中如何实现任意尺寸图像去噪进行解读。 代码 先贴源码 import torch from PIL import Image from torchvision import transforms from arch_unet import UNet import numpy as np def get_generator(): global operation_seed_count
Look into Person: Self-supervised Structure-sensitive Learning and A New Benchmark for Human Parsing
wxf19940618的博客
11-09 450
Look into Person: Self-supervised Structure-sensitive Learning and A New Benchmark for Human Parsing 论文笔记 一、提出问题 现存的数据集只有有限的图像和标注，缺乏人类外观的多变性； 现有的人体解析方法的一个主要缺陷是缺乏对人体姿态的考虑，虽然已经有一些方法将姿态估计引入人体解析问题中，但是姿...
yolov3-vehicle-detection-paddle:vehicle-detection based on yolov3（基于paddle的YOLOv3车辆检测和类型识别）
05-09
vehicle-detection based on yolov3（基于paddle的YOLOv3车辆检测和车辆类型识别） 今天我们使用 Paddle 开源的两个工具：PaddleDetection 和 X2Paddle 来进行一个车辆检测和类型识别的小demo~ 源码地址： 最终的...
Paddle-YOLOv4:Paddle-YOLOv4,supports training, at least 41.1% mAP.支持训练，至少41.1%mAP。少数的给出精度的复现
05-07
Paddle-YOLOv4 概述 Paddle-YOLOv4,参考自 和 推荐 本项目已经开源到AIStudio中，可直接跑： 咩酱刷屏时刻 Keras版YOLOv3: Pytorch版YOLOv3： PaddlePaddle版YOLOv3： PaddlePaddle完美复刻版版yolact: yolov3魔...
paddle-pants2skirt：基于paddle，使用gan网络一键生成女装短裙图片
02-16
项目简介 项目来源 利用任何一张的图片，瞬间女装起来。 项目效果 项目划分 本项目有两个版本：V1和V2，其中V2效果比V1好。 ...更完整更好的项目体验请访问AI Studio上作者的项目：版本1： 版本2：
生成对抗网络降噪算法
09-07
使用tensorflow框架写的生成对抗网络用于图像降噪，降噪效果在测试集上表现非常好，可以参看https://blog.csdn.net/xiaoxifei/article/details/82498705 记载的效果
neighbor2neighbor 代码 debug完，参考
11-22
看有几个人问我neighbor2neighbor的代码问题，我直接把我debug好的代码发出来吧
PaddleGAN:PaddlePaddle GAN库，包括许多有趣的应用程序，例如一阶运动传输，wav2lip，图片修复，图像编辑，photo2cartoon，图像样式传输等
03-18
English | PaddleGAN PaddleGAN为开发人员提供经典和SOTA生成对抗网络的高性能实现，并支持开发人员快速构建，培训和部署GAN，以用于学术，娱乐和工业用途。 GAN生成对抗网络被“卷积网络之父”扬·勒库恩（Yang Likun）誉为[过去十年计算机科学领域中最有趣的思想之一] 。这是AI研究人员最关注的深度学习领域之一。 最近的贡献者 快速开始 请参考，以确保正确安装了PaddlePaddle和PaddleGAN。 通过ppgan.app界面开始： from ppgan . apps import RealSRPredictor sr = RealSRPredictor () sr . run ( "docs/imgs/monarch.png" ) 更多应用程序，请参考 更多教程： 模型教程 复合应用 在线教程 您可以在运行这些项目，以了解如何使用上述模型
基于paddle框架的图像超分+降噪等实现python源码(课程设计).zip
最新发布
09-25
【资源说明】 基于paddle框架的图像超分+降噪等实现python源码(课程设计).zip 基于paddle框架的图像超分+降噪等实现python源码(课程设计).zip 基于paddle框架的图像超分+降噪等实现python源码(课程设计).zip 基于paddle框架的图像超分+降噪等实现python源码(课程设计).zip基于paddle框架的图像超分+降噪等实现python源码(课程设计).zip基于paddle框架的图像超分+降噪等实现python源码(课程设计).zip基于paddle框架的图像超分+降噪等实现python源码(课程设计).zip基于paddle框架的图像超分+降噪等实现python源码(课程设计).zip 【备注】 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。 欢迎下载，沟通交流，互相学习，共同进步！
Neighbor2Neighbor:从单个噪声图像进行自监督去噪
RrS_G的博客
07-09 3261
目录一、相关工作1.1、Noise2Noise二、本文方法——Neighbor2Neighbor2.1、训练图像对的生成2.2、有规律的自监督训练三、实验​ 这篇文章的工作同样是图像去噪，但是本文方法是不需要干净图像的无监督方法。本文工作是受Noise2Noise的启发。首先简要介绍Noise2Noise。 Noise2Noise是一种不需要真实干净图像训练的去噪方法，该方法只需要相同场景的独立噪声图像对。给定同一个地面真实图像x的两个独立的噪声观测值y和z, Noise2Noi
Yoshua Bengio团队通过在网络「隐藏空间」中使用降噪器以提高深度神经网络的「鲁棒性」
人工智能学家
04-12 688
原文来源：arXiv  作者：Alex Lamb、Jonathan Binas、Anirudh Goyal、Dmitriy Serdyuk、Sandeep Subramanian、Ioannis Mitliagkas、Yoshua Bengio「雷克世界」编译：嗯~是阿童木呀、KABUDA、EVA导语：深度神经网络在各种各样的重要任务中取得了令人印象深刻的成果。但有一点，对不同于训练分布的数据进行
图像降噪网络：KBNet 论文笔记
生活就像海洋
06-09 4612
对KBANet论文阅读的一些记录。
基于Paddle实现Transformer图像降噪
m0_63642362的博客
06-24 2314
1.简介 由于CNN在从大规模数据中学习广义图像先验知识方面表现良好，这些模型已被广泛应用于图像恢复等相关任务。最近，另一类神经结构Transformers在自然语言和High-Level视觉任务上显示出显著的性能提升。虽然Transformer模型缓解了CNN的不足（即有限的感受野和对输入内容的适应性），但其计算复杂度随空间分辨率呈二次增长，因此无法应用于大多数涉及高分辨率图像的图像恢复任务。在这项工作中，我们提出了一种高效的转换器模型，通过在构建模块（多头注意和前馈网络）中进行几个关键设计，它可以捕获长
堆叠降噪自编码网络SDA
小小程序员
04-21 365
降噪自编码网络类似于使用了，dropout的自编码网络。 堆叠降噪自编码网络相当于堆叠多个降噪自编码网络
pip install paddle时报错error: subprocess-exited-with-error应该怎么解决
04-29
这种错误通常是由于网络连接问题或者权限问题引起的。你可以尝试以下方法解决： 1. 确认网络连接正常，可以尝试更换网络环境或者升级pip版本。 2. 使用管理员权限运行命令行窗口（Windows）或者加上sudo权限（Mac/...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

人工智能研习社

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值