CV论文--2024.3.19

1、Strong and Controllable Blind Image Decomposition

中文标题：强而可控的图像盲分解

简介：盲图像分解的目标是将图像中存在的所有组件进行分解，通常用于恢复多重退化的输入图像。尽管完全恢复原始清晰图像很有吸引力，但在某些情况下，用户可能希望保留某些退化，例如水印，以进行版权保护。为了满足这种需求，我们在盲图像分解过程中引入了可控性，允许用户输入要删除或保留的退化类型。

我们设计了一种名为可控盲图像分解网络的架构。该网络嵌入在U-Net结构的中间部分，首先对输入特征图进行分解，然后根据用户的指令重新组合它们。这种功能的计算成本非常低：分解和重新组合过程都是无参数的。实验证明，我们的系统在盲图像分解任务中表现出色，能够输出部分或完全恢复的图像，很好地反映了用户的意图。此外，我们还评估和配置了网络结构和损失函数的不同选项。

通过结合所提出的分解和重新组合方法，我们实现了一个高效且具有竞争力的盲图像分解系统，与目前最先进的方法相比取得了良好的效果。

2、FeatUp: A Model-Agnostic Framework for Features at Any Resolution

中文标题：FeatUp：适用于任何分辨率特征的模型无关框架

简介：在许多少样本任务中，通过在预训练的视觉模型输出上训练线性分类器或轻量级模型，即所谓的"冻结特征"，可以实现令人印象深刻的性能。目前，在训练过程中不会修改这些冻结特征。另一方面，当直接在图像上对网络进行训练时，数据增强是一种标准方法，可以提高性能而不会增加太多的开销。

在本研究中，我们对少样本图像分类进行了广泛的实验研究，探索在冻结特征空间中应用数据增强的方法，我们将其称为"FroFA"（冻结特征增强），总共涵盖了二十种增强方式。我们的研究表明，采用一种看似简单的点对点的FroFA（例如亮度增强），可以持续提高少样本性能，涵盖了三种网络架构、三个大型预训练数据集和八个迁移数据集。

3、Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study

中文标题：多模态基础模型的零样本鲁棒性基准测试：试点研究

简介：通过从关于图像的原始文本中预训练图像表示，我们使得零样本视觉转移成为可能。多模态基础模型如CLIP通过在互联网上收集数百万样本进行预训练，产生了具有竞争力的零样本结果，通常能够达到完全监督方法的水平，而无需进行任务特定的训练。除了令人鼓舞的分类准确率，据报道这些模型通过匹配在自然分布移位下训练的ImageNet监督模型的表现来减小鲁棒性差距。

鲁棒性对于现实世界的应用，尤其是安全关键应用至关重要。因此，在本文中，我们提出了一个基于大规模鲁棒性基准的全面评估，涵盖了7个自然分布、3个合成分布移位和11种对抗攻击。我们以CLIP作为试点进行了研究。我们在基准测试中展示了CLIP在鲁棒性方面的明显下降，特别是在合成分布移位和对抗攻击下，与受监督的ImageNet模型相比。此外，数据重叠分析表明，在自然分布移位下观察到的鲁棒性可能至少部分归因于数据重叠。

总之，我们的评估表明，需要进行全面的鲁棒性评估，并且需要显著提高零样本多模态模型的鲁棒性水平