小样本学习+去鬼影：SMAE: Few-shot Learning for HDR Deghosting with Saturation-Aware Masked Autoencoders

源码学习见专栏置顶～

论文作者：Qingsen Yan,Song Zhang,Weiye Chen,Hao Tang,Yu Zhu,Jinqiu Sun,Luc Van Gool,Yanning Zhang

作者单位：Northwestern Polytechnical University; Xidian University; CVL, ETH Zurich

论文链接：http://arxiv.org/abs/2304.06914v1

内容简介：

1）方向：去鬼影

2）应用：高动态范围成像

3）背景：利用深度神经网络（DNN）生成高质量的高动态范围（HDR）图像已经成为近期广泛研究的方向。然而，大多数基于DNN的方法需要大量的带有真实标签的训练数据，需要耗费大量时间和精力。Few-shot HDR成像旨在使用有限的数据生成令人满意的图像。然而，当仅在少量图像上进行训练时，现代DNN很难避免过拟合。

4）方法：本文提出一种新的半监督方法，通过两个阶段的训练实现few-shot HDR成像，称为SSHDR。与以往的方法不同，直接同时恢复内容和去除鬼影，这很难达到最优，首先通过自监督机制生成饱和区域的内容，然后通过迭代的半监督学习框架解决鬼影问题。具体来说，考虑到饱和区域可以被视为掩蔽低动态范围（LDR）输入区域，设计一个饱和掩蔽自编码器（SMAE）来学习强大的特征表示并重构非饱和HDR图像。还提出一种自适应伪标签选择策略，在第二阶段选择高质量的HDR伪标签，以避免误标记样本的影响。

5）结果：实验表明，SSHDR在不同数据集内外在定量和定性上均优于现有方法，使用少量标记样本实现了令人满意的HDR可视化。