【0404】组会论文学习整理

一、【WACV2023】 DSTrans: Dual-Stream Transformer for Hyperspectral Image Restoration

• 提出了一种新的DSTrans，它是一个为HSI恢复量身定制的Transformer。这是第一次尝试探索Transformer在HSI恢复中的潜力。除了HSI样本，DSTrans还利用了来自异构数据集，以了解DSTrans的参数分布。
• 提出了一种新的注意机制，双流注意，以获取两个平行分支中HSIs的全局像素和谱间相似度和依赖关系。此外，提出了双流前馈网络，以同时提取全局信号和局部细节。
• 大量的实验证明，本文的DSTrans在多个HSI数据集上的HSI去噪和HSI SR任务方面大大优于SOTA方法。

我们DSTrans的网络架构。DSTrans采用异构数据集上的双任务结构。我们的DSTrans主要由残差设计组成，包含双流transformer块。

双流Transformer块(DSTB)的说明。DSTB的核心模块是双流注意(DSA)和流前馈网络(DSFN)。DSA由(b)多dconvn头光谱注意(MDSA)和(c)多头空间自注意(MSSA)组成，趋向于捕获并行分支中的远程频谱依赖和空间相互作用。DSFN执行受控的特征流，即，细节信号被激活，并向所需的方向流动。

二、【ICLR2023】3D UX-Net: A Large Kernel Volumetric ConvNet Modernizing Hierarchical Transformer for Medical Image Segmentation

• 提出3D UX-Net，以适应transformer的行为纯ConvNet模块在体积设置。这是第一个利用3D深度卷积在体积分割任务中与变压器sota有利竞争的大型内核块设计。
• 利用LK大小的深度卷积作为通用特征提取骨干，并引入点深度卷积以更少的参数有效地缩放提取的表示。
• 使用三个具有挑战性的公共数据集在1)直接训练和2)使用体积多器官/组织分割的微调场景中评估3D UX-Net。3D UX-Net在所有ConvNets和变压器SOTA的两种情况下都取得了持续的改进，模型参数更少。

概述我们所设计的用于模拟swin transformer行为的卷积块。我们利用深度卷积和点缩放，适应大的接受域，通过拓宽独立通道来丰富特征。我们进一步比较了体积ConvNets和Swin Transformer块体系结构的不同主干。黄色虚线表示网络瓶颈中特征通道扩宽的空间位置差异。

概述所提出的3D UX-Net与我们设计的卷积块作为编码器骨干。LK卷积用于将特征投影到patch-wise嵌入中。每个阶段都使用下采样块来混合和丰富所有渠道的上下文，而我们设计的块在深度设置中提取有意义的特征。

三、【CVPR2023】SimpleNet: A Simple Network for Image Anomaly Detection and Localization

• 提出了一个简单且应用友好的网络(称为SimpleNet)，用于检测和定位异常。SimpleNet由四个组件组成：(1)预训练的特征提取器(Feature Extractor)生成局部特征，(2)浅层特征适配器(Feature Adapter)将局部特征转移到目标域，(3)简单的异常特征生成器(Anomaly Feature Generator)通过向正常特征添加高斯噪声来伪造异常特征，以及(4)二进制异常鉴别器(binary Anomaly Discriminator)区分异常特征和正常特征。在推断期间，异常特征生成器将被丢弃。

SimpleNet概述。在训练阶段，将标称样本输入预训练的特征提取器以获得局部特征。然后，利用特征适配器将预训练的特征适应到目标域。通过在适应的特征中加入高斯噪声来合成异常特征。将适应特征和异常特征分别作为正样本和负样本训练最终的判别器。异常特征生成器在推理时被移除

五、【CVPR2023】Learning A Sparse Transformer Network for Effective Image Deraining

• 提出了一种稀疏Transformer架构，以帮助生成高质量的脱轨结果，具有更准确的细节和纹理恢复。
• 开发了一个简单而有效的可学习的top-k选择算子，以自适应地保持最有用的自注意值，以更好地聚集特征。
• 设计了一种有效的基于混合尺度融合策略的前馈网络，以探索多尺度表示，从而更好地促进图像的脱轨。
• 在各种基准测试上的大量实验结果表明，本文的方法与最先进的(SOTA)方法相比具有良好的性能。

本文提出的图像脱除稀疏transformer网络(DRSformer)的总体结构，主要包括具有top-k稀疏注意(TKSA)的稀疏变压器块(STB)和混合尺度前馈网络(MSFN)，以及混合专家特征补偿器(MEFC)。LN为层归一化，DW-Conv为深度卷积