Real-time Demoireing-ICLR_2023

1 Introduction

将去摩尔纹网络加速，能够部署到实时设备（如手机）上是亟需解决的问题。
图像经常会被部分污染，全区域去除会增加计算量。如图，摩尔纹出现在图像的局部区域，需要给非污染区域减少计算量。以往的方法处理摩尔纹不严重区域的时候，会过度白化图像内容，产生副作用。为了应对上述挑战，本文提出了一项给网络加速在设备实施部署的研究。

基于上述分析，选择将图像分为几个子图像块。为了测量摩尔纹的复杂度，引入了新的摩尔纹先验。根据频率信息和色彩信息计算该先验。利用较大的网络恢复摩尔纹集中区域，利用小网络还原较少的区域减轻负担。
同时，多个网络也会增加部署负担，因此采用SuperNet范式，以参数共享的方式联合训练所有网络，并从该超网中直接提取不同大小的共享子网。
因此，本文的贡献总结为：
1）一种动态加速去摩尔纹网络的框架
2）一种新的识别摩尔纹复杂先验的方法
3）智能手机部署加速明显

2 Related work

动态网络和超级网络：
动态网络在精度、性能和计算效率有优势。
SuperNet是一种动态网络，只在一个网络中保留多个权重共享子网络，并对这些子网络随机采样训练。测试阶段也可以选择不同的子网络。

3 Method

总体框架如图所示，首先将摩尔纹图像分解为多个子图，然后根据摩尔纹先验划分不同的组（摩尔纹复杂度，包括频率和色彩信息）。较复杂的图像块被送到大网络，低复杂度的被送往小网络。同时采用SuperNet范式训练，将每个网络都视作超网的子网。

3.1 摩尔纹先验

给定摩尔纹图像X，首先将其分解为多个子图像块，对于特定的块x，使用高斯高通滤波器来提取频率信息F(x)，标准差为5。
为了衡量每个块的色彩，将RGB像素的平均值和标准差线性组合

0.3是别的论文通过最大化实验数据和色彩度量之间的相关性参数。
因此将提出的先验复杂度评分定义为：
M(x)=C(x)*U(F(x))，U是平均值函数。这种评估策略几乎没有计算成本。

3.2 动态去摩尔纹加速

加速的一种方法是根据摩尔纹区域复杂性重新分配计算成本。将所有子网络的输出拼接起来，得到最终的输出。

3.3 SuperNet训练

尽管上述方法有利于降低总体成本，但部署时仍然会有挑战。
因此，本文进一步采用SuperNet范式，用参数共享的方式训练和推理所有网络。
具体来讲，去摩尔纹网络视作SuperNet，参数由子网络共享，集成卷积核权重和子网的宽度比例，最终的输出为：

4 实验

数据集：由于TIP2018分辨率太低，不符合实际应用场景，所以不进行测试。
评价指标：采用PSNR和SSIM进行定量比较。采用CIE DeltaE来报道两幅图的色差。
模型：选择加速DMCNN和MBCNN来验证有效性。
总体实验结果表明了该加速方法的有效性和优越性。