Deep Fourier-Based Exposure Correction Network with Spatial-Frequency Interaction 论文阅读笔记

• 这是ECCV2022的一篇多曝光图像处理的论文，一作是中科大的，同时也是CVPR2022 ENC这篇论文和CVPR2023 ERL 这篇论文的作者。

• 文章的动机如下两图所示.
  
  

• 从上图可以看出，图像的亮度信息主要在傅里叶分解的幅度谱而内容在相位谱，所以本文提出用两个网络分别去处理傅里叶变换后的幅度谱和相位谱。同时，由于频谱的每个位置表示的都是全局信息，而空间谱的每个位置表示的是局部信息，所以将频谱和空间谱的局部进行交互就实现了全局信息和局部信息的交互。网络结构如下图所示，其实是先后进行幅度谱和相位谱的修正的，而傅里叶变换就藏在这里面的每一个SFI block中进行处理：
  
  SFI模块如下图所示（这是幅度谱的SFI，相位谱的SFI以此类推）
  

• 实验结果上，稍微比SOTA高了一点，加上有开源代码，所以后面这个方法也一直被比较：
  

• 评价：从频率域的角度去增强是一个有意思的idea（虽然之前也有很多从频率域去进行底层视觉任务的模型）。但是我觉得用卷积来处理频率谱（尽管是1x1卷积，也不合理，因为频率谱上的1x1卷积不仅意味着卷积核只能看到一个频率分量的内容就要做出推断，而且对所有的频率分量采取相同操作，这就非常不合理了，甚至对特征图进行频谱分解的意义我觉得都有待商榷），以及空间谱和频率谱的交互居然是直接相加，我觉得非常不合理，这个方法可能并没有发掘出从频率域的角度去增强的潜力（虽然之前其它工作从频率域角度用DL模型处理底层视觉任务大多也都这样做），还有很大的提升空间。