Self-augmented Unpaired Image Dehazing via Density and Depth Decomposition程序运行记录

论文题目：

《Self-augmented Unpaired Image Dehazing via Density and Depth Decomposition》

作者列表：

杨洋(天津大学)，王超岳（悉尼大学），刘日升（大连理工大学），张林（同济大学），郭晓杰（天津大学），陶大程（悉尼大学，京东探索研究院）

论文摘要：

为了克服在合成数据集上训练的去雾模型的过拟合问题，许多最近的方法试图使用非成对数据进行训练来提高模型的泛化能力。然而其中大多数方法仅仅简单地遵循CycleGAN的思路构建去雾循环和上雾循环，却忽略了现实世界中雾霾环境的物理特性，即雾霾对物体可见度的影响随深度和雾气密度而变化。在本文中，我们提出了一种自增强的图像去雾框架，称为D4（Dehazing via Decomposing transmission map into Density and Depth），用于图像去雾和雾气生成。我们所提出的框架并非简单地估计透射图或清晰图像，而是聚焦于探索有雾图像和清晰图像中的散射系数和深度信息。通过估计的场景深度，我们的方法能够重新渲染具有不同厚度雾气的有雾图像，并作为自数据增强机制提升去雾网络的性能。值得注意的是，整个训练过程仅依靠非成对的有雾图像和清晰图像，成功地从单个模糊图像中恢复了散射系数、深度图和清晰图像。综合实验表明，我们的方法在参数量和FLOPs更少的情况下去雾效果优于最先进的非成对去雾方法。

论文信息：

[1] Yang Yang, Chaoyue Wang, Risheng Liu, Lin Zhang, Xiaojie Guo, Dacheng Tao. Self-augmented Unpaired Image Dehazing via Density and Depth Decomposition. CVPR 2022. 

论文链接：

https://www.aliyundrive.com/s/WqWvoBkrzBi

代码链接：

https://github.com/YaN9-Y/D4

相关讲解视频：

【VALSE论文速览-70期】基于密度和深度分解的自增强非成对图像去雾_哔哩哔哩_bilibili论文题目：Self-augmented Unpaired Image Dehazing via Density and Depth Decomposition作者列表：杨洋(天津大学)，王超岳（悉尼大学），刘日升（大连理工大学），张林（同济大学），郭晓杰（天津大学），陶大程（悉尼大学，京东探索研究院）论文摘要：为了克服在合成数据集上训练的去雾模型的过拟合问题，许多最近的方法试图使用非成对数据进行训, 视频播放量 1266、弹幕量 0、点赞数 24、投硬币枚数 5、收藏人数 26、转发人数 12, 视频作者 VALSE_Webinar, 作者简介 为计算机视觉、图像处理、模式识别与机器学习等研究领域内的华人青年学者提供深入学术交流的舞台。，相关视频：三个月从零入门深度学习，保姆级学习路线图，不会找论文开源代码，请问还有救吗，【VALSE论文速览-64期】用于图像盲超分辨的无监督退化表示学习，斯坦福cs231n深度学习与计算机视觉-李飞飞，54、Diffusion Model扩散模型理论与完整PyTorch代码详细解读，Grad-CAM简介，【VALSE论文速览-68期】MixFormer:更加简洁的端到端单目标跟踪器，【VALSE论文速览-69期】Learning with Twin Noisy Labels for Visible-Infrared Person……，StarGAN v2：实现跨领域的图像生成效果，【VALSE论文速览-22期】基于噪声鲁棒对比损失的部分视图对齐表示学习https://www.bilibili.com/video/BV1YF411L72F?share_source=copy_web&vd_source=7e63a4719cd8caa0c6c43bdcc04828df

代码调试：

1. 需要的包

cv2

pip install opencv-python

yaml

pip install pyyaml

kornia

pip install kornia

matplotlib

pip install matplotlib

2. 一些报错及其解决方法

（1）yaml.load函数缺少Loader参数

将对应config.py文件中的对应行改为

self._dict = yaml.load(self._yaml, Loader=yaml.FullLoader)

（2）联网无响应

 改为加载本地模型，src/block.py中57行

def _make_pretrained_efficientnet_lite3(use_pretrained, exportable=False):
    #efficientnet = torch.hub.load(
   #     "rwightman/gen-efficientnet-pytorch",
  #      "tf_efficientnet_lite3",
 #       pretrained=use_pretrained,
#        exportable=exportable,
        
#    ) 需联网，故改成以下写法，加载本地文件即可
    
    efficientnet = torch.hub.load(
        "/home/yanhaorui/.cache/torch/hub/rwightman_gen-efficientnet-pytorch_master",
        "tf_efficientnet_lite3",
        pretrained=use_pretrained,
        exportable=exportable,
        source='local'
    )
    return _make_efficientnet_backbone(efficientnet)

3. kornia中方法有误

 D4.py中对应行改为

depth = kornia.filters.median_blur(depth,(9,9))

4. save()参数问题

 D4.py对应函数改为

def save(self, save_best=False, psnr=None, iteration=None):
    self.model.save()