CV-homework_ldr 低动态范围-CSDN博客

本文链接：https://blog.csdn.net/m0_57670384/article/details/134135177

这篇是CV作业要看的论文，我读了这篇

Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline

分析这篇论文之前，由于没太接触过，我先记录一点基础知识。

LDR（低动态范围）：

LDR图像通常具有有限的亮度范围，这意味着它们无法准确捕捉高亮度和低亮度区域的细节。

这些图像通常使用标准的8位深度图像表示，每个通道有256个不同的亮度级别。

HDR（高动态范围）：

HDR图像具有更广的亮度范围，能够准确捕捉高亮度和低亮度区域的细节。

这些图像通常使用更高的位深度来表示，例如16位或32位深度，以提供数千或数百万个不同的亮度级别。

相机成像过程的建模

动态范围裁剪：相机首先将HDR图像的像素值裁剪到一个有限的范围内，由于裁剪操作，过度曝光区域的像素值信息存在损失。
相机响应函数的非线性映射：为了匹配人眼对真实场景的感知，相机通常通过相机响应函数做非线性映射。
量化：非线性映射之后，记录的像素值量化到8bit，量化过程通常会导致曝光不足中的渐变区域出现误差。

论文记录

本文的任务是将单张LDR恢复为HDR，核心思想是将LDR图像成像过程的pipeline引入到模型中，将动态范围裁剪、非线性映射和量化，运用三个CNN来反转这些步骤，同时对整个模型进行端到端的调整，减少错误累积。

于是本文将会单图像HDR重建分为三个子任务：dequantizaion linearization以及hallucination。首先，给定输入的LDR图像，应用反量化网络来恢复量化导致的缺失细节，并且减少由于曝光不足区域所形成的伪影。再使用线性化网络来估计逆CRF，并把非线性图像转化为线性图像，最后使用Hallucination-Net预测过度曝光区域的缺失内容，同时使用Refinement-Net提高泛化能力。

Dequantization

使用了Dequantization-Net 采用 6 级 U-Net 架构网络来减少LDR图像中的伪影，每层用了两个卷积层和leaky ReLU激活，最后归一化到 [−1.0, 1.0]。将去量化网络的输出添加到输入LDR，以生成反量化的LDR图像

linearization

图像的边缘特征和直方图特征被证明对模拟相机的CRF是有效的，于是，本文从上一网络输出的非线性LDR提取边缘特征和直方图特征作为网络的输入。为了表示CRF，在[0,1]区间均匀采样1024个点离散化逆CRF，因此逆CRF可以由1024维向量表示。采用EMoR通过K个PCA基向量的线性组合近似逆CRF，以ResNet-18作为backbone，为了提取全集特征，最后加了个全局池化。

Hallucination

在经过dequantizaion和linearization后，这里的目的是恢复由于动态范围裁剪造成的内容缺失，训练了带有skip connects的encoder-decoder结构Hallucination-Net来预测过度曝光区域内缺失的细节，过曝光区域中缺失的像素值总是大于现有像素值，因此在网络的末端加一个Relu层来约束Hallucination Net预测正残差。