【论文速看】DL最新进展20241024-Transformer、图像超分

【Transformer】

[ECCV 2024] LookupViT: Compressing visual information to a limited number of tokens

机构：google deepmind

论文链接：https://arxiv.org/pdf/2407.12753

代码链接：无

视觉变换器（Vision Transformers, ViT）已成为众多行业级视觉解决方案的默认选择。但是，它们的推理成本对于许多设置来说可能过高，因为它们在每一层计算自注意力，这在token数量上具有二次计算复杂度。另一方面，图像中的空间信息和视频中的时空信息通常是稀疏且冗余的。这项工作引入了LookupViT，旨在利用这种信息稀疏性来降低ViT的推理成本。LookupViT提供了一种新颖的通用视觉变换器块，通过将高分辨率token的信息压缩到固定数量的token进行操作。这些少量压缩后的token经过细致的处理，而高分辨率token则通过计算成本较低的层。这两组token之间的信息共享通过双向交叉注意力机制实现。该方法具有多重优势：（a）易于通过标准高级操作符在标准ML加速器（GPU/TPU）上实现；（b）适用于标准ViT及其变体，因此可推广到各种任务；（c）可以处理不同的标记化和注意力方法。LookupViT还为压缩后的token提供了灵活性，使得单个训练模型中可以实现性能-计算权衡。在多个领域展示了LookupViT的有效性：（a）图像分类（ImageNet-1K和ImageNet-21K）；（b）视频分类（Kinetics400和SomethingSomething V2）；（c）图像注释（COCO-Captions），使用冻结编码器。LookupViT在这些领域中实现了FLOPs减半，同时保持或提高准确性。此外，LookupViT还在图像分类（ImageNet-C,R,A,O）上表现出开箱即用的鲁棒性和泛化能力，比ViT提高了多达4%。

---

[2024] PADRe: AUnifying Polynomial Attention Drop-in Replacement for Efficient Vision Transformer

论文链接：https://arxiv.org/pdf/2407.11306

代码链接：无

本文提出了多项式注意力替代（PADRe），这是一个新颖且统一的框架，旨在替换传统变换器模型中的自注意力机制。值得注意的是，几种最近提出的替代注意力机制，包括Hyena、Mamba、SimA、Conv2Former和Castling-ViT，都可以视为PADRe框架的特定实例。PADRe利用多项式函数，并借鉴了近似理论中的已有成果，提高了计算效率而没有牺牲准确性。PADRe的关键组件包括乘性非线性，通过使用直接、硬件友好的操作如哈达玛积来实现，只产生线性的计算和内存成本。PADRe进一步避免了使用复杂的函数如Softmax，但与传统的自注意力相比保持了相当或更优的准确性。评估了PADRe作为自注意力的直接替代品在不同计算机视觉任务中的有效性。这些任务包括图像分类、基于图像的二维目标检测和三维点云目标检测。实验结果表明，PADRe在替换变换器模型中的自注意力时比传统的自注意力运行显著更快（在服务器GPU和移动NPU上快11倍到43倍），同时保持了类似的准确性。

---

【图像超分】

[2024] FIPER: Generalizable Factorized Fields for Joint Image Compression and Super-Resolution

论文链接：https://arxiv.org/pdf/2410.18083

代码链接：https://jayisaking.github.io/FIPER/

这项工作提出了一种用于超分辨率（SR）和图像压缩的统一表示方法，称为分解场（Factorized Fields），其动机在于这两项任务之间的共享原则。无论是通过提高分辨率还是重构压缩数据，SISR和图像压缩都需要恢复和保留精细的图像细节。与之前主要关注网络架构的方法不同，提出的方法利用基-系数分解来显式捕捉图像中的多尺度视觉特征和结构组件，解决这两项任务的核心挑战。首先推导出所提SR模型，该模型包括一个可泛化的分解场的系数骨干网和基础Swin Transformer。然后，为了进一步统一这两项任务，利用训练有素的SR模块的强大信息恢复能力作为压缩pipeline中的先验，提高了压缩效率和细节重建效果。此外，引入了一个合并基压缩分支，整合了共享结构，进一步优化了压缩过程。广泛的实验表明，所提的统一表示方法在超分辨率（SR）方面取得了最先进的性能，相比基线在PSNR上平均相对提升了204.4%，在图像压缩方面相比之前的SOTA减少了9.35%的BD-rate。

---