动态去模糊----UAE团队系列，CycleISP，MIRNet，MPRNet

1. 之前的CNN通常遵循两种结构设计：
   (a)Encoder-Decoder：将输入逐步映射为低分辨率(下采样)，然后再反向映射为原始分辨率(上采样)，这种U-Net结构的模型能够充分学习上下文信息(broad context)，但是缺点是下/上采样过程中难以将空间细节恢复回来；
   (b)High-resolution(single-scale)：不采用任何下采样操作，能够保持准确的空间细节，但是由于网络的感受野有限，在上下文信息获取方面的效率很低。
    
2. UAE同一个团队系列，在继CycleISP（2020 CVPR oral），MIRNet（2020 ECCV）之后，发布MPRNet（CPVR 2021）
   （1）MPRNet：【paper】  【code】
   概述：multi-stage结构，前两个stage采用U-Net结构，最后一个stage则是没有down sample和upsample的single-scale pipeline。其中内嵌了很多Attention模块，比如每个stage都预先经过一个Conv+CAB(Channel Attention Block)，U-Net的skip-connection部分也有CAB模块，此外在stage之间还有引入监督信息的注意力调整模块SAM(Supervised Attention Module, SAM)，stage之间还在U-Net的encoder-decoder部分进行了跨阶段的特征融合(Cross Stage Feature Fusion, CSFF)更好地保留上下文信息。在去雨、去噪、去模糊任务上都达到了SOTA。
   损失函数：采用Charbonnier loss的reconstruction loss和gradient loss加和。
   结构亮点：1) 首先利用encoder-decoder结构提取多个尺度的上下文信息，最后一个stage在原分辨率上操作以保留更好的细节信息；
                     2) 引入一个监督注意模块(SAM)，嵌入到两个stage之间，利用ground-truth的信息来根据前一阶段的输出计算attention map进而调整输出，再输入到下一阶段；
                     3) 引入了一个跨阶段特征融合模块(CSFF)以辅助传递多个尺度的上下文信息。
   框架图：
   
   （2）MIRNet：【paper】  【code】
   概述：在本文中，提出了一种新颖的结构，可以通过神经网络保持空间上精确的高分辨率表示；并从低分辨率表示中获取良好的上下文信息。
              网络的核心是包含几个关键元素的多尺度残差块：(a)用于提取多尺度特征的并行多分辨率卷积流；(b)跨多分辨率流的信息交换；(c)用于捕捉上下文信息的空间和通道注意机制；(d)基于注意机制的多尺度特征聚合。
   主要贡献：（a）提出了一种新型的特征提取模型，可以在多尺度上提取互补的特征，同时保持原有的高分辨率特征以保留精确的空间细节。(b)提出定期重复的信息交换机制，将跨分辨率分支的特征逐渐融合在一起。(c)提出一种选择性核网络融合多尺度特征的方法，结合可变的感受野，在每个空间分辨率下保持原始特征信息。(d) 递归残差设计简化了整体学习过程，允许构建更深的网络。(e)在去噪、超分、图像增强任务上都达到了SOTA。
   框架图：
   
   SKFF示意图：
   
   （3）CycleISP：【paper】    【code】
   概述：整个CycleISP框架包括四个部分：(1)RGB2RAW：将sRGB图转为RAW图；(2)RAW2RGB：将RAW图转为sRGB图；(3)Color Correction：用于辅助的颜色恢复网络，提供准确的颜色注意机制(explicit color attention)用于RAW2RGB正确地恢复RGB图； (4)Noise Injection：在训练CycleISP时设置为OFF，在需要生成噪声数据时设置为ON。
             CycleISP的训练分为两步：(1)分别单独训练RGB2RAW和RAW2RGB；(2)将RGB2RAW和RAW2RGB一起进行joint finetune。
   主要贡献：用神经网络模拟ISP和逆ISP过程，为real-world noisy images数据的创造提供了新的方法，而在去噪网络部分则设计的比较简单。
   框架图：
   

           提出的去噪网络的结构：