Faster Read: Deep High Dynamic Range Imaging with Large Foreground Motions

ECCV 2018， Hong Kong University of Science and Technology, Tencent Youtu,  U of Oxford

论文名称：

Deep High Dynamic Range Imaging with Large Foreground Motions

keywords: High Dynamic Range Imaging, CNN(Convolutional Neural Network), Computational Photography

以下大意翻译是自己基于原文的理解：

Abstract:

他们论文的方法是生成大规模前景移动的HDR图像的。用了CNN。没有Optical flow。可以创造由于遮挡或过曝光或曝光不足的不存在的细节。他们的方法显著的降低了artifact和distortion，而且包括不用radiometric calibration的图片。

论文写作思路理解：

先讲故事，为啥会存在这个合成的问题；以存在的解决方式有什么不足；我们提出的方法可以解决什么未解决的问题；我们的优势在哪等，全写在Intro里。然后文献回顾以往的方法。再介绍自己提出的方法，网络结构，loss func，数据哪来的，输入前怎么处理的，训练的细节等。第五节开始对比结果，对比文献回顾里的方法，但是只对比了3个。PSNR，SSIM和HDR-VDP-2结果并不出众。然后用大量的实际图片对比各种情况。最后说出不足，总结。

故事逻辑线：

市面上的digital cameras fail to capture 全部的DR,专门capture HDR的设备太重太贵，捕捉稍纵即逝的瞬间一般用手机。另一个方法是合成几个不同曝光度的LDR图片。如果这些图片能完美对齐，那么合成问题就解决了。但是除了小的camera motion以外，只要有打的前景运动，前景和前景，后景和后景的错位是不可避免的。后景不对齐可以用单应变换(homography transformation) 解决，前景就难了。很多方法会产生artifact or ghosting，或者对齐失败。

最近[14]提出用CNN合成。他们先用Optical flow对齐，再feed到CNN里。但是Optical flow经常在对齐多个大位移的exposure图片时产生artifact。虽然Kalantari论文里说可以解决，但是问题还是存在。下图里显示有问题。

相反，我们认为合成多个exposure图片到HDR是image translation问题。近年来，[11]提出用GAN学习图像间不同域的映射。[2]提出CNN可以学习对齐。[30]提出CNN可以填补miss details。我们相信Optial flow对齐是杀鸡用宰牛刀了(overkill)。所以我们提出一个网络来translate多个LDR到一个ghost-free的HDR。

我们方法的优势：

1. 没有Optical flow,也就