ECCV 2024 | Histoformer：恶劣天气条件的图像恢复

最新推荐文章于 2025-03-13 21:36:48 发布

Amusi（CVer）

最新推荐文章于 2025-03-13 21:36:48 发布

阅读量1.9k

点赞数

原文链接：https://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247604509&idx=4&sn=0a90aceb8108a41254412ee2bb006950&chksm=f8b5720f5dbb97c0d5e21858110bdcfda2fb736b538c6ee6e91c56dd192fad3fb157b939b8d8&scene=126&sessionid=0

版权

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba/多模态/扩散】交流群

添加微信号：CVer111，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

作者：知乎用户8fbak

https://zhuanlan.zhihu.com/p/709843922

代码：https://github.com/sunshangquan/Histoformer

论文：https://arxiv.org/abs/2407.10172

室外视觉任务面临着恶劣天气带来的图像降质，诸如雨雾、雨滴、雪天等恶劣天气导致的图像退化因素会分散在图像的各处，但是我们观察到它们虽然位置分布上随机分布，但是其均有相似的模式与像素值（如图1a所示），因此本文提出了一种基于直方图Transformer（简写为Histoformer）的结构，利用恶劣天气退化因素的模式相似性。

以往的Transformer结构通常选择在通道维度或是在固定长宽的空间维度窗口上进行自注意力操作（如图1b所示），要么面临着较大的计算/显存开支，要么无法充分捕捉长距离的依赖关系，在这个恶劣天气图像恢复任务中，也没有利用好上述提到的先验知识。

图1. 在（a）中给定天气退化的图像，传统Transformer沿通道维度或在固定范围的窗口执行自注意力，如（b）所示。然而，可以观察到天气引起的退化模式往往像素值相似但又与与背景不同。因此我们根据降序强度（如（c）所示）将受恶劣天气和背景像素影响的像素分类到不同的箱中，在箱内和箱之间进行自注意

因此本文设计了一种分布图注意力机制，利用雨雪等模式的像素值空间分散而值相近的特点，将特征像素点以其值进行空间排序后，将排序后的特征像素切分到箱（类似于直方图中的箱）中，并沿着箱维度以及在箱内执行自注意力操作，捕捉与恶劣天气相关的动态范围距离的依赖关系。其完整网络结构如图2所示

图2. 用于恶劣天气去除的 Histoformer 的整体架构。主要组件是直方图Transformer模块，它包括动态范围直方图自注意力（DHSA）模块和双尺度门控前馈（DGFF）模块。在DHSA中，作者提出了两种类型的重塑机制，即Bin-wise Histogram Reshaping and Frequency-wise Histogram Reshapping。

实验结果：

如图1所示，所提出的Histoformer在图像去雪、去雨雾、去雨滴这三个常见室外恶劣天气图像恢复任务上均取得最优结果。

而通过图3-图6中的结果可以看出，所提出的Histoformer的视觉效果也得到了最优的效果。

本文还尝试验证了所提Histoformer在下游高层任务中的辅助效果，从图7所示，其能够有效帮助Google目标检测器识别出额外的一个门和建筑。

图7. 两张真实恶劣天气图像恢复及其在Google API上的下游检测结果

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

ECCV 2024 论文和代码下载

在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信号：CVer111，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer111，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看