单张图像降噪Masked and Shuffled Blind Spot Denoising for Real-World Images

Masked and Shuffled Blind Spot Denoising for Real-World Images

Website: https://hamadichihaoui.github.io/mash

单张图像降噪，就是利用训练的方法对单张图像训练的时候进行迭代降噪。

1.噪声的空间相关性

利用公式2定义 噪声的空间相关性
beta = 0 的时候，表示噪声再空间上没有相关性，即使相邻像素，噪声也没有相关性。
beta = 0.5的时候，有中等相关度
beta = 1的时候，空间噪声有比较高的相关度，某个像素的噪声是 5，则相邻像素的噪声和 5比较接近，就是相关。

示例，对图像添加不同空间相关度的噪声效果：

2.mask

自监督图像降噪一般利用blind spot net，盲点网络。
本文定义mask , =0表示被mask, =1表示为原图
每个像素被mask的概率，其实也是整张图像被mask的比例， 概率 tao

3.loss

f函数内部表示的是被mask后的图像： 原图与mask相乘。通过f网络 预测整张图像的值，与原图建立损失。
最后 1-m 表示只有被mask后的像素 对损失起作用。

总的含义就是 通过未被mask的像素 预测 被mask的像素。

4.masking ratio 与 spatial correlation的关系

这是本文的核心：

如下图所示
1）对于噪声空间相关度小的图像， mask ratio越小越好
2）对于噪声空间相关度大的图像， mask ratio越大越好，这个也好理解，mask ratio越大，网络学习更多内容相关的推理能力
3）但是总的效果是，噪声空间相关度越小，越容易降噪，降噪效果最好，细碎的噪声更容易去除，这个很有道理，也符合常识，空间相关度大的噪声比较难以区分是纹理还是噪声。

5.空间噪声去相关

上面说到 噪声空间相关度越小，降噪总体效果越好。
因此作者想要利用一些方法，使噪声空间相关度变小，进而提升降噪性能。
理论上, 同一gt颜色对应的pixel 对应的noisy pixel 打乱顺序，但是我们不知道 clean gt图像

作者的具体方法是，局部 shuffle，且只对平坦区域的pixel shuffle

1）首先确定平坦区域：
对于 模型输出的降噪后的图
4x4 local patch的标准差，小于阈值 lamda 判定未平坦区域：

2）交换顺序：

对于平坦区域的像素，4x4 patch的邻域内像素 shuffle

3）结果：

4）公式：
Γ(y) define the local random permutation of pixels within s × s (e.g., s = 4) tiles of y

5）loss:
也由公式4变为公式6：

6）试验结果：

6.Automated selection of the BSD masking ratio

看懂这个图就行了，
tao 是mask的概率，每个图都有tao=0.2和0.8两条曲线

可以发现，beta 越大， 公式9越大。因此利用公式9作为beta估计的近似。
然后就可以根据公式9估计的beta值进一步确定 mask ratio应该设置为多少。

7.小结

以上整体算法已经很清晰了，具体细节可以查看原文。

本文主要提出了， pixel shuffle 去空间相关 和 自适应选取mask ratio 两种改进策略

需要注意的是本文只针对单张像素降噪，zero-shot方法。