CVPR2021论文--深度学习GAN&&图像处理--论文笔记2

/1 Pre-Trained Image Processing Transformer

随着现代硬件的计算能力不断增强，在大规模数据集上学习的预训练的深度学习模型(例如Transformer的BERT， GPT-3)已经显示出它们比传统方法的有效性。这一重大进展主要归功于Transformer及其变体体系结构的表示能力的提高。本文研究了低层次的计算机视觉任务(如去噪、超分辨率和去噪)，提出了一种新的预处理模型，即图像处理Transformer(IPT)。为了最大限度地挖掘Transformer的能力，我们提出利用著名的ImageNet基准生成大量的损坏图像对。对这些多头多尾图像进行IPT模型训练。此外，为了更好地适应不同的图像处理任务，引入了对比学习。因此，经过微调后，预先训练的模型可以有效地用于所需的任务。由于只有一个预先训练过的模型，IPT在各种低级基准测试上优于当前最先进的方法。

对于去噪、超分辨率和去噪等任务提出一个预训练模型。

/2  Transformer Interpretability Beyond Attention Visualization 

超越注意力可视化的Transformer 的解释性

Self-attention技术，特别是Transformer ，在文本处理领域占据主导地位，并在计算机视觉分类任务中越来越受欢迎。现有的方法要么依赖于获得的attention map，要么沿着注意力图进行启发式传播，以直观地显示导致某种分类的图像部分。在这项工作中，我们提出了一种新的使用Transformer 的计算关联的方法。该方法基于深度泰勒分解原理标记局部相关性，然后将这些相关性得分通过层传播。这种传播涉及注意层和跳跃连接，这对现有方法构成了挑战。我们的解决方案基于一个特定的公式，该公式显示了跨层保持总体相关性。我们在最近的可视Transformer 网络以及文本分类问题上对我们的方法进行基准测试，并展示了相对于现有的可解释性方法的明显优势。

/3 Image-to-image Translation via Hierarchical Style Disentanglement

通过分层风格分解的图像到图像的转换

近年来，图像到图像的转换在实现多标签(即以不同标签为条件的翻译)和多风格(即以不同风格生成)任务方面取得了重大进展。然而，由于标签的独立性和排他性，现有的工作因涉及对转换结果的不受控制而失败。在本文中，我们提出了分层风格分解(HiSD)来解决这一问题。具体来说，我们将标签组织成一个分层的树形结构，在这个结构中，从上到下分配独立的标签、专属的属性和不纠缠的样式。相应地，我们设计了一种新的翻译过程来适应上述结构，在这种结构中，可以识别出风格来进行可控的翻译。

/4 Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning

探索不变和等变表示的互补优势的少量学习

在许多现实问题中，收集大量的标记样本是不可行的。少量学习(FSL)是解决这一问题的主要方法，其目标是在有限的样本中快速适应新类别。FSL任务主要是通过利用基于梯度的元学习和度量学习方法来解决的。然而，最近的研究已经证明了强大的特征表示与简单的嵌入网络的重要性，可以超越现有的复杂的FSL算法。在这项工作中，我们建立在这一见解的基础上，并提出了一种新的训练机制，它同时对一般的几何变换集强制等价和不变性。在以前的论文中，均单独使用了等方差或不变性;然而，据我们所知，它们并没有被联合使用。同时对这两个相对的目标进行优化，使模型能够共同学习不仅独立于输入转换之外的特征，而且还可以学习编码几何转换结构的特征。这些互补的特性集有助于很好地推广到只有少量数据样本的新类。我们通过合并一个新的自我监督蒸馏目标来实现额外的改进。