【图像融合专题】Deghost：图像融合中的鬼影消除技术

1. 背景介绍

在图像的多帧融合任务中，无论是多景深融合、多曝光融合还是多帧时域降噪，在取帧过程中手持拍摄的抖动与拍摄时场景存在运动物体均会造成模糊和虚影（ghost）等问题，这很容易使组合多个图像的优势荡然无存。针对拍摄抖动通过可以通过全局的图像对齐来解决，而鬼影则需要一些额外的处理。

在传统方法中一类工作将鬼影视为图像配准的类似问题，跟踪物体在不同帧的运动，使用这些信息来相应地warp图像的像素。这些技术依赖于光流运动估计或者块匹配，并且不可能确保它们对任何类型的运动都能有效。如存在大运动、背景遮挡或者像素存在过曝欠曝时，对齐方法难以准确计算出实际的位移值。

另一类方法根据帧间差异检测和分割运动区域，对于这部分非静态区域在最终融合结果用单帧信息替换，这种方法依赖于检测的精确性以及如何让单帧信息能平滑的并入图像融合的结果。比如对于HDR融合结果的运动区域，将一帧LDR图像替换上去会有明显的过渡不自然，针对这个问题主流的方案有possion融合和inpainting。

除此之外，还有一些传统方法如背景估计法将鬼影视为一个在多帧中检测像素属于背景还是运动物体的概率问题。首先对于图像空间中的每个位置，基于与邻域像素相关的信息创建背景的统计模型，依次对像素计算属于该类的概率。低概率则很可能是鬼影的存在造成。

而在深度学习方法中，对多帧进行特征提取后通过一些如context模块和attention模块可以自适应的滤除不必要的冗余信息，在多帧融合网络中直接得到ghost-free的融合结果。

在以上四个方向的处理方法中，下面会主要对检测类方案和背景估计类方案做一些介绍。

---

2. 检测类方案

检测类方法实际上会分为两步，首先根据多帧图像间的相关性，检测出所有属于运动范围的区域。然后对于融合结果，选择合适的单帧信息覆盖到这部分存在鬼影的区域上。

在多曝光融合中，对于线性域（帧间亮度为线性关系）的鬼影检测，将各帧亮度统一到一个参考系下通过简单的帧差法进行检测。而对于非线性域处理方法则较为复杂，一个容易想到的方法是通过标定相机响应曲线 � 将非线性域转换到线性域，或者通过直方图匹配将多帧图像的亮度进行对齐。

标定相机响应曲线计算帧差

通常帧差法无法应对光照的突变，只能检测运动物体的边缘并且检测区域具有空洞，因此存在大量误检和漏检。后续的算法演进中借鉴模板匹配任务，诞生了一些利用图像梯度、方差、信息熵等维度帧差的检测手段：

为了提高检测的精确性，这些方法通常会根据各自的优缺点组合使用，最后再搭配阈值截断、形态学以及超像素的后处理完成一个平滑的鬼影区域检测。需要注意低曝光和高曝光图像分别导致图像的某些区域出现白色和黑色像素，在检测时也需要考虑是否纳入检测范畴。

对于检测到的鬼影区域，我们可以根据一定准则在帧序列中，选择合适的一帧替换到在最后融合结果的鬼影区域中。

可以看到当鬼影区域回帖最亮帧时，由于最亮帧地面处于过曝状态所以细节会丢失，而回帖最暗帧会把暗帧的运动物体重新引入进来，一个可以优化的点是对鬼影区域不同位置回帖不同帧的信息。

参考资料：http://www.vsislab.com/projects/IPM/HDR/Comparison/comparison.html

---

3. 背景估计类方案

背景估计类方法多利用概率统计思想，建立一些对于运动物体和背景的假设进行鬼影检测的方案，下面列举其中的一些论文。

参考论文：Bottom-up Segmentation for Ghost-free Reconstruction of a Dynamic Scene from Multi-Exposure Images

这篇论文提出首先对参考帧根据方差估计一个近似的背景区域，然后计算各帧与参考帧的亮度映射曲线IMF。最后对于曲线给定一个带宽，非参考帧各像素在该带宽范围内则为静止区域，之外的离群值则为运动区域。

然后基于超像素对图像分解，在每个超像素中IMF离群值像素数量大于阈值，则该超像素整块判定为鬼影。

参考论文：Ghost Removal in High Dynamic Range Images

这篇文章把背景估计等同于求解一个像素属于背景的概率，通过核密度估计器 �� 找出向量x属于背景F的概率：

其中M是背景F中向量个数， �� 是F中第m个向量，H是一个对称正定的矩阵，�这里通过d维的高斯核函数表示：

如下图所示，针对图像中一个像素位置 �(�,�,�)，在所有曝光序列中背景邻域则为 �(����)。根据高斯概率分布公式，其实就是当前像素向量与背景中各向量越接近则属于背景的概率越大，反之越小。

---

4. 文献整理

分类	论文名称	代码	时间
综述	Ghost detection and removal for high dynamic range images Recent advances		2012
综述	Comparison of Deghosting Algorithms for Multi-exposure High Dynamic Range Imaging		2013
综述	Report State of the Art DE ghosting Algorithms for High Dynamic Range Imaging		2013
综述	Expert evaluation of deghosting algorithms for multi-exposure high dynamic range imaging		2014
综述	The state of the art in HDR deghosting A survey and evaluation		2015
综述	高动态范围成像技术中的鬼影检测与去除方法综述		2016
综述	Assessment of multi-exposure HDR image deghosting methods		2017
光流	Extending dynamic range of monochrome and color images through fusion		2000
光流	high dynamic range imaging of non-static scenes		2011
光流	Freehand HDR imaging of moving scenes with simultaneous resolution enhancement		2011
光流	Generation of HDR images in non-static conditions based on gradient fusion		2012
光流	Multiple exposure fusion for high dynamic range image acquisition		2012
光流	Simultaneous HDR and optical flow computation		2014
光流	On robust optical flow estimation on image sequences with differently exposed frames using primal–dual optimization		2017
patch-match	Freehand HDR photography with motion compensation		2007
patch-match	Motion artifact-free HDR imaging under dynamic environments		2011
patch-match	A Hybrid Patching Scheme for High Dynamic Range Imaging		2012
patch-match	full high-dynamic range images for dynamic scenes		2012
patch-match	Exposure Stacks of Live Scenes with Hand-Held Cameras		2012
patch-match	Robust Patch-Based HDR Reconstruction of Dynamic Scenes	https://github.com/U2FsdGVkX41/hdr-fusion	2013
patch-match	HDR Deghosting: How to Deal with Saturation		2013
patch-match	reference-guided exposure fusion in dynamic scenes		2013
patch-match	Hybrid patching for a sequence of differently exposed images with moving objects		2013
patch-match	A Precise Multi-Exposure Image Fusion Method Based on Low-level Features		2020
背景估计	Ghost Removal in High Dynamic Range Images		2006
背景估计	Constrain Propagation for Ghost Removal in High Dynamic Range		2008
背景估计	Motion blur free HDR image acquisition using multiple exposures		2008
背景估计	Background estimation from non-time sequence images		2008
CNN	Learning a deep single image contrast enhancer from multi-exposure image	https://github.com/csjcai/SICE	2018
CNN	Towards practical and efficient high-resolution HDR deghosting with CNN		2020
CNN	Robust high dynamic range (hdr) imaging with complex motion and parallax		2020
CNN	Segmentation Guided Deep HDR Deghosting		2022
CNN	Learning Regularized Multi-Scale Feature Flow for High Dynamic Range Imaging		2022
GAN	Deep exposure fusion with deghosting via homography estimation and attention learning		2020
Attention	Attention-mask dense merger (attendense) deep hdr for ghost removal		2020
Attention	Ghost removal via channel attention in exposure fusion		2020
Attention	Deep HDR Deghosting by Motion Attention Fusion Net		2022
Attention	Ghost-free High Dynamic Range Imaging with Context-aware Transformer	https://github.com/megvii-research/HDR-Transformer	2022