论文阅读笔记---Deep High Dynamic Range Imaging of Dynamic Scanes

最新推荐文章于 2024-01-17 15:43:55 发布

qq_25283239

最新推荐文章于 2024-01-17 15:43:55 发布

阅读量2.2k

点赞数

分类专栏： HDR 论文笔记

本文链接：https://blog.csdn.net/qq_25283239/article/details/103853390

版权

论文笔记同时被 2 个专栏收录

25 篇文章 4 订阅

订阅专栏

HDR

20 篇文章 9 订阅

订阅专栏

Kalantari N K , Ramamoorthi R . Deep high dynamic range imaging of dynamic scenes[J]. ACM Transactions on Graphics, 2017, 36(4):1-12.

论文+数据+代码: http://cseweb.ucsd.edu/~viscomp/projects/SIG17HDR/

摘要:

从一组具有不同曝光量的图像中生成高动态范围（HDR）图像对于动态场景而言是具有挑战性的过程。一类现有技术首先将输入图像对齐到参考图像，然后将对齐的图像合并为HDR图像。但是，配准的伪影通常在最终的HDR图像中显示为重影和撕裂。在本文中，我们提出了一种基于学习的方法来解决动态场景的此问题。我们使用卷积神经网络（CNN）作为我们的学习模型，提出并比较了三种不同的系统架构，以对HDR合并过程进行建模。此外，我们创建了输入LDR图像及其对应的GT HDR图像的大型数据集，以训练我们的系统。我们通过从一组三个LDR图像中生成高质量的HDR图像来演示我们系统的性能。实验结果表明，与几种最先进的方法相比，我们的方法在挑战性场景中始终能产生更好的结果。

贡献:

我们提出了第一种机器学习方法，用于从一组包围的动态场景的曝光LDR图像中重建HDR图像（第3节）。
我们通过提出三种不同的系统架构并对它们进行广泛的比较（第3.2节）来充分探索这一想法。
我们引入了第一个适合于学习HDR重建的数据集，这可以促进该领域的未来学习研究（第4节）。此外，我们的数据集可以潜在地用于比较不同的HDR重建方法。注意，现有的数据集，例如Karaduzovic等人介绍的数据集。 [2016]，场景有限，不适合训练深层的CNN.

algorithm:

给三个动态场景的LDR 图像 $(Z_1, Z_2, Z_3)$ , 目的是产生无伪影的HDR图像H(与中等曝光图像对齐(参考图像)).

过程可以分为两部分:

1 对齐: 不同曝光的图像 $(Z_1, Z_2, Z_3)$ , 被对齐到参考图像 Z2, 生成对齐图像 $I = \{I_1, I_2, I_3\}$ ,其中, $I_2 = Z_2$

2 合并: 合并I 得到 H.

算法流程:

预处理输入图像:

如果LDR图像不是RAW格式, 使用CRF(使用高级校准方法能够从输入的图像stack中获得Grossberg and Nayar 2003, Badki 2015)线性化图像, 然后应用gamma 矫正在线性化的图像上,产生我们模型的输入图像.

对齐图像:

高曝光图像Z3, 低曝光图片Z1, 介绍Z3对齐到Z2(Z1对齐到Z2同理), 因为光流算法要求亮度是一致的, 因此, 提高曝光暗的图片的曝光度跟亮图片一致, 具体做法: $\large Z_{2, 3} = clip( Z_2 \triangle_{2,3}^{1/\gamma})$ , clipping 函数确保输出范围[0, 1], $\large \triangle_{2, 3} = \frac{t_3}{t_2}$ 表示曝光率, t3, t2表示曝光时间, 然后使用 Liu[2009]的光流算法计算 Z3, $\large Z_{2,3}$ 之间的光流信息, 最后，我们使用双三次插值法使用计算出的光流使高曝光图像Z3变形, 这样就产生 $I_3$ , 对齐图像集合 $I = \{I_1, I_2, I_3\}$

HDR merge :

这个部分主要的挑战是检测对齐伪影, 避免伪影影响到最终的HDR图像. 这里使用机器学习的方法,

1) 模型使用cnn,

2) loss : 最小化tonemapped估计和ground truth 之间的 l2 距离 $\large E = \sum_{k=1}^3(\hat{T_k} - T_k )^2$ (公式2), 其中 $\large \hat{T}$ 和T是估计的和地面真实色调映射的HDR图像，并且总和是在彩色通道上进行的.

其中, tonemapped $\large T = \frac{log(1+\mu H)}{log(1 + \mu)}$ (公式1), H 表示在线性域中的HDR 图像, $\large \mu$ 是定义压缩量的参数, 在实现过程中H 范围[0, 1] , $\large \mu = 5000$

在线性域中直接选择使用 l2 距离计算评估( $\large \hat{H}$ )和真值H HDR图像的错误率.

基于学习的HDR merge :

三种方式:

1) Direct:

输入 $\large \{ \boldsymbol{I},\boldsymbol{H}\}$ , 其中 $\large \boldsymbol{H}$ 是在HDR域下对齐图像的集合 H1, H2, H3. $\large H_i = I_i^\gamma / t_i$ , ti是第i个图像的曝光时间. 输出是最终的HDR图像 H.

2) Weight Estimator(WE)

输入 $\large \{ \boldsymbol{I},\boldsymbol{H}\}$ , 输出混合权总 (blending weights) $\large \alpha$ . 然后 $\large \hat{H}(p) = \frac{\sum_{j=1}^3\alpha_j(p)H_j(p)}{\sum^3_{j=1}\alpha_j(p)}, where H_j(p) = \frac{I^\gamma_j}{t_j}$ (公式6) 得到最终的HDR 图像,(权重 $\large \alpha_j(p)$ 基本定义了第j个对齐图像在像素p处的质量)

3) Weight and Image Estimator(WIE):

输入 $\large \{ \boldsymbol{I},\boldsymbol{H}\}$ , 输出混合权总 (blending weights) $\large \alpha$ 和精细对齐图像 $\large \{ \alpha, \widetilde{I} \}$

网络输出n0, 对于direct结构n0=3 是相关的颜色通道数, WE结构中 n0=9, 3个颜色通道, 每个通道 3个混合权重 alpha, 对于WIE结构, n0=18, 3个精细对齐图片 $\large \widetilde{I_1}, \widetilde{I_2}, \widetilde{I_3}$ , 且都是3颜色通道的, 在加上 9个混合权重.

输入有LDR还有HDR呢？

因为作者认为LDR domain中可以检测图片的噪声和饱和区域，HDR domain会对检测misalignment有帮助。

数据集制作:

合成GT HDR 使用公式6, 其中权重为:

qq_25283239

关注

0
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
论文阅读笔记---Deep High Dynamic Range Imaging of Dynamic Scanes

Kalantari N K , Ramamoorthi R . Deep high dynamic range imaging of dynamic scenes[J]. ACM Transactions on Graphics, 2017, 36(4):1-12.论文+数据+代码:http://cseweb.ucsd.edu/~viscomp/projects/SIG17HDR/...
复制链接

扫一扫