VQCNIR解析

Always_a_learner

已于 2024-05-08 21:54:23 修改

阅读量976

点赞数 28

文章标签：深度学习

于 2024-05-08 20:45:27 首次发布

本文链接：https://blog.csdn.net/Always_a_learner/article/details/138579582

版权

在这里插入图片描述

摘要

黑暗的环境和曝光使得夜间成像面临低光照和模糊的挑战。目前的夜间图像恢复方法要么忽略先验信息，直接利用端到端网络造成恢复结果中的inconsistent illumination，要么利用人工先验对网络进行约束，从而带来更大的误差。本文将利用码本（codebook）提供基于数据驱动的高质量先验。

本文提出的VQCNIR可以在现实世界和合成数据上实现同样的效果，其包含两个基本模块：自适应照明增强模块（AIEM）和可变形双向交叉注意模块（DBCA）。AIEM利用特征通道间的相关性，动态地保持退化特征和高质量codebook之间的光照一致性；DBCA模块利用双向交叉注意力和可变形卷积，有效整合纹理和结构信息，增强细节和保持结构。

Introduction

长曝光被用于增加夜间成像的光源，但仍然存在着低光照和模糊的问题。现有的基于深度学习的方法通常只考虑解决一个问题，比如低光照图像增强（LLIE）和去模糊（deblurring），简单地将两种方法进行级联也是不可行的，因为低光照增强的结果不足以为后者提供足够多的运动模糊线索。LEDNet尝试解决该联合退化问题，但其效果难以推广至真实场景。

作者认为突破点在于缺少稳定和可靠的先验，从而引入了VQ codebook以提供高质量的先验。然而，直接利用codebook进行重建的话，夜间图像的退化特征和codebook中特征的不一致（连续？）的光照和不正确的匹配会导致较差的结果。因此，本文提出了AIEM和DBCA模块以解决该问题。

模型

在这里插入图片描述

VQ Codebook for Priors

补充知识路径：VAE-VQVAE-VQGAN

在原文Fig.3中，作者首先通过实验论证直接运用VQGAN进行重建的不合理之处，即在高质量数据集上训练的VQGAN不能直接用于夜间图像的重建。VQGAN在对高质量数据进行重建时，就会有一些distortions和artifacts的问题（intuition：结合codebook产生的纹理信息和隐层表征的结构信息也许能缓解），对夜间图像进行重建会加重本身就有的问题，这是因为codebook很难匹配地很好。

AIEM

该模块包含Hierarchical Information Extraction（HIE）和Illumination Mutual Attention Enhancement（IMAE）两个部分。

HIE（获取空间特征）

夜间成像中时常出现local lightning的情况，此时，全局的操作会导致这些局部区域的过度/不足增强。作者采用通道注意力和大核卷积注意力在不同层级上提取空间信息。具体来说，在原文Fig.2中，PConv为point-wise convolution，DWConv为depth-wise convolution（各类卷积），作用为获取空间不变特征？

分别利用SimpleGate（SG）实现非线性激活、Channel Attention（CA）调整特征通道数、Large Kernel Convolution Attention（LKA），点乘这三者的输出后再次利用point-wise convolution。最终得到hierarchical information of different receptive fields。