《Interpretable Deep Attention Prior for Image Restoration and Enhancement》深度注意力先验（DAP）阅读笔记

基本信息

标题:

• Interpretable Deep Attention Prior for Image Restoration and Enhancement

作者:

• Wei He, Tatsumi Uezato, Naoto Yokoya

发表年份:

• 2023

期刊:

• IEEE Transactions on Computational Imaging

DOI:

Interpretable Deep Attention Prior for Image Restoration and Enhancement | IEEE Journals & Magazine | IEEE Xplorehttps://ieeexplore.ieee.org/document/10054493

核心概念:

• 深度注意力先验（DAP）: 一种新型的图像先验，它利用自注意力机制来模拟图像中的非局部自相似性，从而在没有大量训练数据的情况下解决图像恢复问题。

方法细节:

• 自注意力机制: 通过计算图像中每个像素与其他像素的相似性，自注意力机制能够捕捉全局上下文信息。这种机制允许模型在生成输出时考虑整个图像的像素。
• 非局部自相似性: 这是图像处理中的一个重要概念，它假设图像中的每个像素都可以通过其在图像中的相似区域来估计。DAP通过自注意力机制实现了这一点。
• 掩码操作: 为了防止模型过拟合到输入图像的噪声，作者引入了掩码操作。这涉及到在训练过程中随机选择一部分像素作为输入，而忽略其他像素。

网络架构:

每个自注意层中使用的自注意机制。对输入特征进行卷积处理提取patch，对patch进行矢量化，然后对不同矢量化patch进行自关注计算，最后折叠成输出张量。

DAP的网络架构。SA层如上图所示

• 层叠自注意力层: DAP模型由多个自注意力层组成，每一层都通过自注意力机制来更新特征图。
• 简化的网络结构: 与复杂的编码器-解码器架构相比，DAP采用了简单的层叠结构，这有助于提高模型的可解释性。

实验设计:

• 数据集和任务: 作者在多个标准数据集上测试了DAP的性能，包括去噪、修复和融合任务。
• 性能评估: 使用了峰值信噪比（PSNR）和结构相似性指数（SSIM）等指标来评估图像恢复的质量。
• 与其他方法的比较: DAP与现有的深度图像先验方法（如DIP）以及其他自注意力方法进行了比较。

用于去噪任务的set 9数据集上的平均PSNR和SSIM值

狒狒图像去噪结果。噪声方差为25。

由所选像素导出的注意图。每个红色方块代表与其注意图相对应的选定像素。

在set11数据集上绘制任务的平均PSNR

结果和讨论:

• 性能: DAP在多个任务上显示出了竞争力，尤其是在去噪和修复任务上。
• 可解释性: 生成的注意力图提供了模型决策的直观理解，这是DAP的一个显著优势。
• 计算效率: 尽管DAP的计算复杂度较高，但作者通过简化网络结构和优化参数来提高效率。

结论和未来工作:

• 结论: DAP提供了一种有效的、可解释的图像恢复方法，它在没有大量训练数据的情况下也能取得良好的性能。
• 未来工作: 作者计划探索如何进一步提高DAP的泛化能力，以及如何将其应用于更广泛的图像处理任务。