【论文阅读笔记】DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs

最新推荐文章于 2024-08-20 13:10:24 发布

快乐星球居民耶

最新推荐文章于 2024-08-20 13:10:24 发布

阅读量1.2k

点赞数 36

分类专栏：图像融合文章标签：论文阅读笔记深度学习图像处理

本文链接：https://blog.csdn.net/2301_80396740/article/details/136417538

版权

图像融合专栏收录该内容

5 篇文章 1 订阅

订阅专栏

本文提出了一种深度学习架构DeepFuse，用于无监督的极端曝光图像融合。通过CNN和MEFSSIM损失函数，该方法解决了多曝光融合问题，尤其关注于图像的结构和对比度。实验使用新的基准数据集，并展示了在处理极端曝光图像对方面的优势。

摘要由CSDN通过智能技术生成

DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs

DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs

（博主研一，研究方向是图像融合、目标检测，也算是在入门中啦~ 希望总结能帮助和我一样在图像融合研究路上的宝子们~~）

介绍

本文提出了一种用于多次曝光图像融合（MEF）的无监督CNN深度学习架构。

HDRI（高动态范围成像）是一种摄影技术，拍摄出的照片更好更亮，有助于存储人眼可感知的所有范围的光，而不是使用相机实现的有限范围。用于HDR图像生成的方法被称为多曝光融合（MEF）。

回顾以往文献

以往用于曝光融合算法的主要思想都是计算每个图像的局部或者是像素的权重，然后融合图像就是输入序列中的图像的加权和。

使用卷积神经网络：学习输入和输出之间的复杂映射与足够的训练数据，CNN通过优化损失函数来学习模型参数，估计映射函数f，来期望输出y和实际获得的y'值最小。

DeepFuse CNN网络结构

网络结构的三个组成部分：特征提取层、融合层和重建层。

曝光不足和曝光过度图像（Y1和Y2）被输入到单独的通道（通道1由C11和C21组成，通道2由C12和C22组成）。第一层（C11和C12）包含5 × 5过滤器，用于提取边缘和角落等低级特征。融合前通道的权重是绑定的，C11和C12（C21和C22）共享相同的权重。因此F11和F21是相同的特征类型，我们可以简单地通过融合层将各个特征图联合收割机组合起来。

MEF SSIM损失函数

由于MEF问题不存在期望输出，因此不能使用平方误差损失或任何其他完全参考误差度量。相反，我们使用无参考图像质量度量MEF SSIM作为损失函数。

1、

其中： $y_k{}$ 为输入图像的p像素位置对应提取的图像块，k取值1和2，对应高曝光图像和低曝光图像。 $u_{yk}$ 是 $y_k{}$ 的均值， $c_{k}$ 为 $y_k{}$ 的对比度， $s_{k}$ 为 $y_k{}$ 的结构， $l_{k}$ 为 $y_k{}$ 的亮度。

2、

由于较高的对比度值意味着较好的图像，因此将结果的期望对比值取为最高的对比度值。

3、

期望结构的结果通过结构的加权和来获得。加权函数是基于输入之间的结构一致性来分配权重的，党具有不同结构成分时，加权函数为输入分配相等的权重，当所有输入块具有相似的结构时，具有高对比度的块将会赋予更多的权重。因此它对失真更鲁棒。

4、

得到总体y的预测结果。

由于局部块中的亮度比较是不重要的，因此从上述等式中丢弃亮度分量。在较低的空间分辨率下比较亮度不能反映全局亮度一致性。（原文中提到的，我没咋看理解这儿）

5、

使用SSIM框架计算像素p的最终图像质量分数。

OK，家人们，这个才是本文的损失函数了！其中： $\sigma _{y}^{2}$ 是方差， $\sigma _{yf}^{2}$ 为协方差。N是图像中的像素的总数，P是输入图像中的所有像素的集合。

训练

收集了25个公开的曝光堆栈，策划了50个具有不同场景特征的曝光堆栈。输入序列的大小调整为1200 × 800维，从这些输入序列中，裁剪了30000个大小为64 ×64的补丁用于训练。

测试

1、遵循标准的交叉验证程序来训练我们的模型，并在不相交的测试集上测试最终模型，以避免过度拟合。

2、融合图像的色度分量Cbfused和Crfused通过输入色度通道值的加权和来获得。图像的关键结构细节往往主要存在于Y通道中，因此，在文献中Y和Cb/Cr融合遵循不同的融合策略。

3、MEF SSIM损失被公式化以计算2个灰度（Y）图像之间的分数。因此，测量Cb和Cr通道的MEF SSIM可能没有意义。

（对于2和3，我的理解是因为Cb和Cr是色度通道，MEF SSIM损失函数不是为RGB通道设计的，如果没有捕捉好RGB通道的相关性，将会使得融合图像带来明显的色差，所以网络更加关注改善Y通道，而不注重颜色。）

创新点

1、第一个使用深度CNN架构进行曝光融合。提出一种基于CNN的无监督图像融合算法，用于融合曝光堆叠的静态图像对；

2、一种新的基准数据集，可用于比较各种MEF方法；

3、整个网络使用无参考图像质量损失函数进行端到端的训练。

参考文献

Prabhakar K R , Srikar V S , Babu R V .DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs[J].IEEE Computer Society, 2017.