（ECCV2024）Histoformer：基于直方图Transformer的恶劣天气图像恢复新文章

• 题目：Restoring Images in Adverse Weather Conditions via Histogram Transformer

• 论文地址: https://arxiv.org/pdf/2407.10172

• 代码地址: https://github.com/sunshangquan/Histoformer

背景

这篇文章提出了一个名为Histoformer的新型图像恢复方法，旨在解决由恶劣天气条件（如雨、雾和雪）引起的图像退化问题。具体来说，文章想要解决的问题包括：

1. 图像质量下降：恶劣天气条件显著降低了图像的视觉质量，这对于需要清晰视觉信息的下游任务（如目标检测和深度估计）构成了挑战。

2. 现有方法的局限性：早期的方法依赖于天气相关的先验知识来模拟退化的统计特性并去除恶劣天气。随后，卷积神经网络（CNNs）被提出用于处理去雨、去雾和去雪等任务，但这些方法需要为每个任务分别训练网络，并且在多个模型之间切换的复杂性给实际应用带来了挑战。

3. Transformer-based方法的效率问题：最近的基于Transformer的方法在去除恶劣天气的任务中显示出了超越CNNs的效率，但这些方法通常在内存利用上做出妥协，将自注意力操作限制在固定空间范围或仅在通道维度内，这限制了Transformer捕捉长距离空间特征的能力。

4. 长距离空间特征的捕捉：文章指出，天气引起的退化因素主要导致类似的遮挡和亮度变化，这提示了需要一种能够有效捕捉长