DRL-ISP: Multi-Objective Camera ISP with Deep Reinforcement Learning

摘要

在本文中，我们提出了一个多目标摄像头ISP框架，利用深度强化学习(DRL)和摄像头ISP工具箱，由基于网络的和传统的ISP工具组成。所提出的基于drl的相机ISP框架迭代地从工具箱中选择适当的工具，并将其应用于图像，以最大化给定的视觉任务特定奖励函数。为此，我们实现了总共51个ISP工具，包括曝光校正、色彩和色调校正、白平衡、锐化、去噪等。我们还提出了一种高效的DRL网络架构，可以提取图像的各个方面，并在图像与大量动作之间建立严格的映射关系。我们提出的基于drl的ISP框架根据每个视觉任务(如RAW-to-RGB图像恢复、2D物体检测和单目深度估计)有效地提高了图像质量。

简介

近年来，随着深度学习在各种计算机视觉任务中表现出优异的性能，视觉传感器的重要性被重新强调。尽管可见光相机很重要，但其存在硬件限制，如动态范围窄和传感器灵敏度低。对于这个问题，传统相机执行内置的图像信号处理(ISP)，通过应用诸如去模糊、去噪和颜色增强等顺序修改来提高图像质量。然而，内置ISP通常由一个固定的图像处理管道和工厂调优的超参数组成。因此，内置ISP通常不能保证为各种计算机视觉任务提供最佳质量的图像。

另一方面，最近的基于深度学习的方法显示了显著的结果，如直接raw到rgb恢复[1]，[2]，去噪[3]，超分辨率[4]，[5]，白平衡[6]，[7]，色调映射[8]，[9]，曝光校正[10]，[11]，[12]通过单个深度神经网络。但是，它们需要很高的计算成本，并且只能替代摄像机ISP管道的特定部分。

基于观察，我们提出了一个新的相机ISP框架，利用深度强化学习(DRL)和相机ISP工具箱，包括传统的图像处理工具和基于网络的工具。我们的DRL框架基于当前图像状态应用最合适的ISP工具，以最大限度地利用给定的demosaiced RAW图像实现目标奖励函数。基于设计的奖励函数，DRL代理可以生成适用于各种任务的图像，如一般的RAW-to-RGB恢复，对象检测和深度估计。

主要贡献

• 提出了一种新的基于drl的相机ISP框架，该框架可以根据当前图像状态和目标奖励函数有效地执行合适的动作。

• 提出了一个相机ISP工具箱及其训练方法。该工具箱由轻量级CNN工具和传统工具组成，这些工具可以表示摄像机ISP管道的每个块。

• 提出了一种高效的DRL网络架构，提取图像的各个方面，并在图像与大量动作空间之间建立刚性映射关系。

• 验证了我们提出的用于RAW-to-RGB图像恢复、2D物体检测和单目深度估计任务的方法。该方法通过对图像进行适当的修改，连续提高目标任务的性能。

图1

传统的相机ISP框架(a)通常由一个非灵活的图像处理管道和工厂调优的超参数组成。另一方面，提议的基于drl的ISP框架(b)具有一个灵活的管道，可以通过依次选择所需的ISP工具(c)自适应地处理给定的图像。

相关工作

A.相机ISP参数优化

传统上，RGB图像是通过相机内置的ISP芯片组从RAW图像中恢复的，该芯片组由各种图像处理块组成。近年来，针对[14]、[15]、[16]、[17]、[18]、[19]、[20]等不同目标，研究了多种方法对摄像头ISP的自动优化。ISP芯片组的每个图像处理块通常是一个黑盒。因此，有研究通过黑盒优化[14]、进化算法[18]、强化学习[19]对芯片组超参数进行优化。其他方法[17]，[15]将每个块或整个ISP管道的操作参数化为一个神经网络。然后，通过近似神经网络对超参数进行优化。

有时，他们优化超参数用于低级图像增强[17]，[15]，对象检测[16]，人类偏好[20]和高级场景理解[21]，[19]。然而，他们的方法依赖于一个固定的ISP管道和超参数。因此，它们不能轻易地添加新的图像处理模块，并需要根据新的图像或新的环境自适应地改变参数。

B.学习相机ISP管道

最近，基于神经网络的方法[22]，[1]，[2]，[23]，[24]正在兴起，通过单个深度神经网络直接从RAW感官数据中恢复高质量的RGB图像。他们的基本想法是将整个ISP管道，包括去噪、去噪、锐化、颜色校正和白平衡，嵌入到单个深度神经网络中。他们的主要目标是曝光良好的图像[2]，[22]，专家润色图像[23]，以及良好的相机图像[1]，[24]。

相反，一些研究只提出了近似ISP管道的特定部分，如白平衡[6]，[7]，色调映射[8]，[9]，曝光校正[10]，[11]，[12]。这些全部和部分替换比典型的ISP管道和特定模块表现出更高的性能。然而，网络通常计算量大，不可能专门用于不可微的目标(例如，良好曝光和边缘保持的图像，物体检测，或高级场景理解)。

方法概述

A.问题定义

我们将相机ISP管道视为一个序列决策问题，根据当前图像状态st迭代地决定适当的行动at。给定一个去马赛克 RAW图像，我们的目标是使增强的最优图像Iopt为目标奖励函数R(·)。我们将每个图像信号处理(ISP)工具定义为一个动作at，从降级的原始图像中提取的图像特征fag作为一个状态st，目标任务特定的目标函数作为奖励函数R(·)

B.摄像头ISP工具箱

所提出的框架由摄像头ISP工具箱和工具选择器组成，如图2和表1所示。我们设计的工具箱包含了每个相机ISP模块的功能，如白平衡、去噪、