文章介绍了DKPN，一种结合传统降噪算法与变形卷积的图像处理技术，用于视频去噪。DKPN通过学习自适应卷积核，选择并加权周围像素，打破了传统方形卷积域的限制，扩大了感受野。此外，它将2D变形卷积扩展到3D，提升了视频降噪效果，并提出3D变形卷积的正则项。尽管只在内部数据集上进行了实验，未公开数据和GT合成方法，但该工作提供了对变形卷积作用的可视化分析。代码已开源，但预训练模型未提供。
预测出的Kernels对于周围像素点的权重，以及周围像素点的选择方式。
从BM3D这类经典的传统图像去噪方式起，不同方法之间的最大区别就在于如何用一种有效的方式选择合适的像素点、以及如何定义这些像素点的权重，进而对这些像素点加权平均可得到近似“干净”的图像，也就达到了图像去噪的目的。
这篇文章提出的DKPN（暂且称之为DKPN），预测出per-pixel的自适应卷积核，但是对于可变形卷积来说，不仅包含weights和bias两部分，还会包含offsets，用于指示“周围像素”是指哪些像素，打破了传统卷积运算对于方形领域的定义。通过这种方式，可以在采样点有限的情况下，尽可能地增大kernels的感受野，有利于高效地利用图像中的信息。
一是将传统的双边滤波算法与CNN结合起来，二是用变形卷积来做多帧对齐的问题，三还是在raw上进行处理的。
然而一大坑点是仅仅在自己采集的数据上做了实验，而且没有公开，最最坑的是GT的合成方法没有指出来。
论文的创新点如下：
1. 将传统降噪算法和变形卷积结合起来，使用变形卷积来显示学习传统算法中挑选和平均的过程。
2. 将2D变形卷积拓广到了3D中，可以进一步地提升大幅运动的视频降噪的性能和减小artifact。还提出了3D变形卷积的正则项。
3. 对于变形卷积是如何起作用给出了可视化的分析。
在视频降噪中的损失函数中包括降噪的l1 loss和正则项。
代码 （没有开源预训练模型）
https://github.com/z-bingo/Deformable-Kernels-For-Video-Denoising
有关其前身KPN
https://blog.csdn.net/zbwgycm/article/details/80987721
扫一扫
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
