论文Multi-Scale Dynamic Feature Encoding Network for Image Demoiring

最新推荐文章于 2024-07-11 23:56:34 发布

Nemoforest

最新推荐文章于 2024-07-11 23:56:34 发布

阅读量207

点赞数

文章标签：计算机视觉深度学习人工智能

本文链接：https://blog.csdn.net/Nemoforest/article/details/126866446

版权

论文名字：19-ICCV-Multi-Scale Dynamic Feature Encoding Network for Image Demoiring
论文下载地址：https://arxiv.org/abs/1909.11947
论文代码地址：https://github.com/opteroncx/MDDM

主要任务：去摩尔纹

主要难题：

摩尔纹有两大挑战：摩尔纹广泛分布在各个频段，摩尔纹是动态纹理有不同的颜色和形状，论文对这两中挑战分别采用了采用多尺度网络和DFE(dynamic feature encoding module)两种方法。

论文认为(屏幕)摩尔纹的产生原因是：屏幕的LED栅格和摄像机的CFA栅格没能完美的对上，因此会产生摩尔纹，而未能完美对上的原因可能是因为两者分辨率、距离、角度等等原因，因此摩尔纹同时还是动态的。区别于去噪和超分任务是静态的、只对高频信息处理；摩尔纹是动态、同时对高低频信息处理。

因此摩尔纹有两大特点：动态存在和分布在全频上

整体网络框架：

一共有6个分支，分辨率从1、1/2、1/4、…、1/32

请添加图片描述

方法：

针对摩尔纹分布在高低频上，目前看到过三种高低频的不同概念。

下采样的次数代表高低频，下采样对多代表频率越低
用小波分离高低频
用不同大小的高斯滤波器卷积图像得到高低频，越模糊代表频率越低

如下图所示，显示了从原始图像分解（下采样）的不同分辨率的表示。

请添加图片描述
可以看出不同的分辨率下，摩尔纹并不相同。因此采用多尺度网络，同时高频本身含有更多的高频信息，低频需要更深的网络结构来得到有用的高频信息，因此，低频分支的网络拥有更多的卷积层。

针对摩尔纹是动态的问题，随着角度和缩放的变化而变化，相对于去噪和超分的恢复模式是静态的（如果使用特定退化模型，对整个图像的影响往往一致，而摩尔纹退化对整个图像的影响不一致）（Moiré i s a dynamic pattern in that the interference texture on an image is local and varies with scaling and angle.）

动态的问题动态解决，作者提出DFE(dynamic feature encoding module)用于动态编码摩尔纹。因为每个分支（除了第一个）都是在学习一个残差，对于干净图像和摩尔纹退化图像，残差相当于摩尔纹模式，而各个分支的摩尔纹模式并不一致，影响去摩尔纹任务的进行。

作者受任意图像转移工作的启发（我没看出来启发在哪里），为每个分支都设计旁路分支，再使用AdaNa将旁路嵌入到主分支，这里插一嘴AdaNa。图像的内容和风格是分离的，同个内容可以有不有不同的风格，AdaNa就是接受一个内容输入，一个风格输入，输出改变风格的内容。从方程上来看是把旁支作为风格，把主分支作为内容。这里没看懂为什么要这么做。

损失函数：使用Charbonnier loss