DeepExposure: Learning to Expose Photos with Asynchronously Reinforced Adversarial Learning【论文阅读札记】

  本论文是小米人工智能实验室在2018—NeurIPS上所做的工作。
  【论文】【code】

0 摘要

  准确的曝光是计算摄影中拍摄高质量照片的关键，特别是对于受相机模块尺寸限制的手机。受专业摄影师通常使用的光度蒙版的启发，在本文中，我们开发了一种新颖的算法，用于通过深度强化对抗学习来学习局部曝光。具体来说，我们将图像分割成子图像，这些子图像可以根据原始低级特征反映动态范围曝光的变化。基于这些子图像，通过策略网络顺序自动学习每个子图像的局部曝光，同时全局设计学习奖励以平衡整体曝光。审美评价函数由生成对抗网络中的鉴别器近似。强化学习和对抗性学习通过异步确定性策略梯度和生成损失近似协同训练。为了进一步简化算法架构，我们还证明了利用判别器作为价值函数的可行性。此外，我们使用每个局部曝光分别修饰原始输入图像，从而在不同曝光下提供多个修饰图像，并与曝光混合融合。广泛的实验证明，我们的算法在定量准确性和视觉说明方面优于最先进的方法。

1 引言

2 方法

  在本节中，我们将在五个小节中介绍我们算法的细节：问题制定、异步确定性策略梯度、AE 函数的对抗性学习、生成损失近似和价值函数的替代形式。

3曝光融合

  我们的算法将从策略网络中产生每个细分的精确曝光值。曝光值将应用于整个图像，从而导致多个不同曝光的图像与一些视觉伪影的输入图像。为了增强最终的视觉效果，我们利用高动态范围 (HDR) 成像中的混合方法进行曝光融合 [25]。我们找到曝光良好的区域并通过金字塔图像分解将它们混合在一起：

其中 L(Sijo )k 是像素 i 和 j 处的 k 级拉普拉斯金字塔分解，Gauss(wkij) 是像素 i 和 j 处权重的 k 级高斯金字塔，L(Sg ijl)k 是 k-在像素 i 和 j 处对第 l 个曝光图像进行拉普拉斯金字塔分解。实际上，这种方法可以看作是伪多重曝光融合。

4算法流程

   我们首先使用图像分割方法将整个图像分割成几个子图像（在我们的实验中所有训练图像的大小都是 64 × 64 × 3）。在动作生成阶段 t，我们将输入的低分辨率图像 S0、子图像片段和直接融合图像 Slt 连接起来作为状态 st。然后，利用策略网络来计算在局部和全局上应用于图像的不同曝光。在处理完所有子图像后，我们将所有不同曝光的图像和输入图像混合在一起。曝光融合是用方程式进行的。

5实验

6 结论

  我们开发了一种强化的对抗性学习算法来学习修饰低质量图像的最佳曝光操作。与其他方法相比，我们的算法可以在增强亮度和颜色的同时恢复原始图像中的大部分细节和风格。此外，我们的方法连接了深度学习方法和传统的过滤方法：深度学习方法用于学习过滤器的参数，这使得传统方法的过滤更加精确。传统方法减少了深度学习方法的训练时间，因为过滤像素比用神经网络生成像素要快得多。
  我们的算法依赖于图像分割来模拟照明蒙版的分层。因此，使用语义分割算法而不是无监督算法可以提高学习曝光的能力。我们算法的一个自然扩展是与其他常用过滤器相结合，例如对比度过滤器和色调过滤器，这些过滤器留待以后的工作使用。一个限制是由于奖励稀疏，局部曝光可能不是准确的值。因此，未来将探索其他新方法，如课程学习 [9] 或好奇心驱动学习 [30]。