论文学习笔记（4）：Dirty Pixels: Optimizing Image Classification Architectures for Raw Sensor Data

一、摘要

本文提出了一种新式的端到端可分架构，用于联合去噪、去模糊以及进行分类任务，其对于实际环境中的噪声和模糊鲁棒。

• 创新点：这种架构学习了针对分类进行优化的去噪和去模糊的pipeline，从而是输出保留了更精细的细节，但代价是产生了更多的噪声和伪影。
• 结论：适用于计算机视觉的low-level处理方法与适用于视觉友好的图像处理算法是不等效的。
• 扩展性：提出的架构很容易扩展到其他的高级视觉任务及图像生成模型上，从而为集成low-level和high-level任务提供了通用的架构。

二、简介

1. 研究现状：

由于原始传感器数据通常会被噪声、模糊等干扰，因此将用于高级视觉任务训练的深层网络应用在现实中是非常困难的。

2. 方法提出：

提出了一种端到端可分的架构，且基于将low-level与深层架构（？）结合的方法。
此架构的模块可以被修改，以处理不同的图像生成模型或high-level任务。

3. 主要贡献：

• 引入现实相机中得到的带噪声和模糊的数据集
• 在分类架构上评估了噪声和模糊图像，展示出了其对性能造成的巨大损失。
• 提出端到端可分架构，可结合去噪去模糊与分类任务，并应用于其他图像生成模型及high-level任务
• 证明了提出的架构在模糊和噪声图像的微调（？）下，大大提高了分类准确性。
• 重点介绍了所提出架构输出的去模糊去噪图像与传统的去噪器、去模糊器得到的图像之间的区别。这一区别表明，适用于hign-level任务的low-level处理与生成视觉友好图像的处理是不同的。

三、相关工作

1. 噪声和模糊对high-level网络的影响

2. unrolled优化算法

3. 结构化神经网络

展开式优化算法也可以被截石位结构化的神经网络（？），在过去的研究中，已经提出了将结构化神经网络用于去模糊、去噪、去马赛克等的应用。并且，常规的全连接网络也已经被用于low-level任务中。
链接传统优化方法和神经网络的另一种方法是：训练一个网络，以使用迭代重建算法（？）对经过预处理的数据进行图像重建。

4. 相机图像处理pipeline

多数的数码相机基于启发式技术在图像信号处理器（ISP）pipeline中执行low-level处理。

三、真实图像生成模型

3.1 图像生成

对于每个颜色通道：

生成的图像遵循泊松-高斯噪声模型

3.2 模型校准Calibration

四、噪声和模糊下的图像分类

三种在困难情况下提高分类网络性能的三种方法：

1. 通过图像生成模型传递的数据对网络进行fine-tune
2. 在将图像输入网络前，使用标准算法进行去噪和去模糊处理
3. 本文提出的方法：结合去噪、去模糊及分类的新型架构

五、可分的去模糊、去噪及分类架构

1. 主要贡献：
   通过基于优化的原理性方法使架构端到端可分，使得我们可以使用诸如SGD（随机梯度下降）等方法共同训练low-level和high-level。
2. 现有的pipeline：
   例如在输入分类网络前，采用相机的ISP部件处理原始传感器数据，但这种方法会造成low-level单元的自由参数对于pipeline的输出是不可分的。（？）
3. low-level单元
   low-level单元基于收缩场模型，即一种可分的用于高斯去噪和去模糊的架构。本文基于CNN的思想对收缩场模型进行了修改，以增加模型的容量，使其更适合使用SGD进行训练。

5.1 Background and Motivation