Real-time Controllable Denoising for Image and Video和 Invertible Image Signal Processing

最新推荐文章于 2025-02-01 22:13:23 发布

tony365

最新推荐文章于 2025-02-01 22:13:23 发布

阅读量1.2k

点赞数 24

CC 4.0 BY-SA版权

分类专栏： denoise 文章标签：深度学习

本文链接：https://blog.csdn.net/tywwwww/article/details/135267146

denoise 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种可以实时编辑的图像和视频去噪方法，通过生成多个噪声级别并去相关处理，用户可以自定义降噪强度。该方法基于InvertibleImageSignalProcessing，通过训练可逆网络实现端到端的ISP步骤优化。

Real-time Controllable Denoising for Image and Video

1.概述

与其他调制方法不同的是该方法，可以实时编辑，而不是设定参数后重新跑一遍网络。该方法跑一次网络后，用户设定控制参数，输出不同强度的图像。

网络最后输出了L种强度的noise map，和对应的控制参数，得到Clean(AutoTune)
也可以用户自定义控制参数，得到自定义的Clean
在这里插入图片描述

其中用Noise Decorrelation的方法生成noise map, The noise maps are then fed into the proposed
Noise Decorrelation (ND) block, which makes noise maps orthogonal to each other. In this way, the decorrelated noise maps will be zero-correlated and thus become linearly nterpolable。

2. 如何得到noise map

生成若干个不同noise level（标准差）的noise map
在这里插入图片描述

how?
首先除以标准差，变为标准差为1，然后乘上设定的noise level(比如5，10，。。。55，60等)，那么这个noise map的noise level就设定好了。
在这里插入图片描述

3. noise map去相关

为什么要去相关？
因为生成的noise map相关性比较大，很多信息是冗余的。

如果不去相关，特定noise level的图像输入网络后，对应该noise level的noise map所对应的参数将占据主导地位，而其他noise level的noise map似乎没有太多意义。

就是说如果noise level=10的图像输入网络后， noise level=10的noise map对应的c = 1,其他noise level的noise map的c=0。
那么如果设定noise level=20的noise map的c=1, 降噪强度会如预期的那样变大吗?
那么如果设定noise level=5 的noise map的c=1, 降噪强度会如预期的那样变小吗?

另外就是不具有插值的性质，想要特定noise level=30，设定noise level=30的noise map=1即可，如果设定noise level=20 和 noise level=40各 0.5似乎达不到这样的目的？

去相关和不去相关的插值结果对比：
在这里插入图片描述