ICLR2023文章分享——嵌入式傅里叶增强低照度图像

标题：

EMBEDDING FOURIER FOR ULTRA-HIGH-DEFINITION LOW-LIGHT IMAGE ENHANCEMENT

开源代码：​​​​​​Embedding Fourier for Ultra-High-Definition Low-Light Image Enhancement

1. 文章简介

        提出了一种增强低照度的超高清图片的方案 UHDFour，将傅里叶变换嵌入仅级联网络中。这种思想起源于傅里叶域的两种特征：1）大部分的亮度信息会集中在振幅上，而噪声则和相位更相关。2）高清图像与低清图像具有相似的振幅模式。

        因此。引入傅里叶变换，就可以把振幅和相位分开处理，避免增强亮度的时候放大噪声。

2. 网络结构

        

        整个网络结构如下，大致分为两部分，LRNet即低分辨率处理网络，HRNet，高分辨率处理网络，LRNet部分包含四个FouSpa块，它占据了整个网络绝大部分的计算量，因此用双线性插值将特征下采样到原始分辨率的1/8。经过FouSpa后的特征送入FFT，分别得到振幅Ar和相位Pr的特征，同时Conv卷积整流特征，得到低分结果 H/8×W/8×C。

        原始输入x的其中一支会直接以PixelUnshuffle（8x）重塑为H×W×C×64，输入到Adjustment块中，并在调整后以Pixelshuffle再重塑为原始大小，最终与上采样特征结合以估计出正常图像。

FouSpa块：

        该块用于在傅里叶域和空间域中并行执行增强，在傅里叶域中执行相位/振幅增强，空间域中执行特征增强。在傅里叶分支中，FFT获取振幅A和相位P，然后分别进入两个1*1的卷积中处理，这样是为了避免结构信息被破坏。再用IFFT转移为空间域，并把它与空间特征串联。空间域分支主要进行卷积操作，以模拟空间域的结构依赖性。傅里叶分支则关注全局的信息。

Adjustment块：

        接受上采样的Xpu和细化的振幅Ar和相位Pr后，使用空间特征变换SFT对Xpu经过FFT的结果进行调制。而空间域则采用和FouSpa中相同的方法。         

其余结果部分请自行阅读的原文吧，这里因为对网络结构感兴趣，就记录了一下。