Deep Camera: A Fully Convolutional Neural Network for Image Signal Processing

碎碎念。
图像信号处理(ISP)的pipeline： 缺陷像素校正(defect pixel correction),去噪(denoising)，白平衡(white balance)，曝光校正(exposure correction)，去马赛克(demosaicing)，颜色转换(color transform)和伽马编码(gamma encoding)。
在ISP pipeline中执行的许多过程都是不适定的问题，因此不可能找到封闭形式的解决方案。为了克服这个问题，传统的基于模块的算法采用手工制作的基于启发式的方法来获得独立于ISP管道中其余处理的解决方案。许多基于模块的方法独立地对场景或传感器进行假设，或者两者都进行假设，从而得出手工制作的解决方案。然而，这些假设并不适用于不受控制的室外和室内环境。因此，重构后的图像质量会随着真实世界图像的变化而下降。
随着各个处理模块的残余误差在重构信号中累积，使用基于模块的算法连续地执行各种ISP过程构成了另一个主要挑战。特别地，后面的阶段必须纠正预期的处理和ISP管道中先前模块在信号中留下的残余误差。
这降低了重建图像的质量。
然而，与传统的基于模块的ISP相比，在一个步骤中执行多个处理或使用卷积神经网络(CNN)执行ISP中的所有阶段可以减少伪影(例如:彩色云纹和拉链)和重构信号中的错误积累。传统ISP中错误积累的主要原因是每个模块使用一个独立于其他模块的特定于任务的丢失函数。由于在不同的处理模块中使用的损耗函数不匹配，当我们通过传统的ISP管道时，累积误差会增加。然而，基于CNN的方法在端到端优化设置中使用单个损耗函数来优化ISP管道中涉及的整个处理过程。因此，优化最小化了测量最终输出图像重建误差的损失函数，以获得更好的图像质量。

网络如下：