CV每日论文--2024.6.13

1、An Image is Worth 32 Tokens for Reconstruction and Generation

中文标题：一张图像值得 32 个Tokens来重建和生成

简介：最近生成模型的进展突显了图像标记化在高分辨率图像的有效合成中的关键作用。标记化将图像转化为潜在表示,相比直接处理像素,可以降低计算需求,增强生成过程的有效性和效率。

之前的标记化方法,如VQGAN,通常使用具有固定下采样因子的2D潜在网格。但这种2D标记化在处理图像中存在的内在冗余时面临挑战,相邻区域经常显示出相似性。

为了克服这个问题,作者引入了基于Transformer的一维标记化器TiTok。TiTok将图像标记化为一维潜在序列,提供了更紧凑的潜在表示,比传统技术产生了更高效和有效的表示。例如,一个256 x 256 x 3的图像可以被减少到只有32个离散标记,大幅减少了标记数量。

尽管TiTok的潜在表示很紧凑,但它在性能上仍能达到与最先进方法相竞争的水平。在ImageNet 256 x 256基准测试中,使用相同的生成器框架,TiTok的gFID达到1.97,明显优于MaskGIT的4.21。当涉及到更高分辨率图像时,TiTok的优势更加显著。在ImageNet 512 x 512基准测试中,TiTok不仅胜过最先进的扩散模型DiT-XL/2,而且将图像标记减少了64倍,生成过程快410倍。表现最佳的TiTok变体甚至可以显著超过DiT-XL/2,同时仍以74倍的速度生成高质量样本。

通过这种创新的一维标记化方法,TiTok展示了在高分辨率图像合成中的突出优势,为生成模型的进一步发展提供了有价值的探索方向。

2、Image and Video Tokenization with Binary Spherical Quantization

中文标题：使用二进制球形量化的图像和视频标记化

简介：我们提出了一种新的基于变压器的图像和视频分词器,采用二元球面量化(BSQ)技术。BSQ将高维视觉嵌入投影到低维超球体上,然后应用二进制量化。这种方法具有以下特点:

1. 无需显式码本,参数高效。

2. 可扩展到任意标记维度。

3. 高压缩率:在最小失真的情况下,可将视觉数据压缩高达100倍。

我们的分词器使用变压器编码器和解码器架构,采用简单的块状因果掩蔽来支持可变长度的视频输入。

最终的BSQ-ViT在图像和视频重建基准上实现了最先进的视觉重建质量,与最佳先前方法相比,吞吐量提高了2.4倍。此外,通过学习适应性算术编码的自回归先验,BSQ-ViT在视频压缩方面也达到了与最先进视频压缩标准相媲美的结果。

BSQ-ViT还使得基于掩蔽语言模型的图像合成质量能够与基于GAN和扩散的方法相竞争。

总的来说,这种基于二元球面量化的分词器展示了在视觉数据压缩和重建、视频压缩以及生成模型应用等方面的出色性能,为相关领域的发展提供了有价值的技术探索。

3、Zero-shot Image Editing with Reference Imitation

中文标题：使用参考模仿进行零样本图像编辑

简介：本文提出了一种全新的图像编辑方式,称为"模仿式编辑"。这种方法旨在帮助用户更方便地发挥创造力,无需考虑参考图片与源图片之间的匹配关系。

具体来说,用户可以直接从在线相关图片中汲取灵感,系统会自动弄清楚如何从参考图片中获取信息来进行编辑。为实现这一目标,我们提出了一种生成式训练框架——MimicBrush。它随机选择视频片段中的两个帧,遮盖其中一个帧的某些区域,并学习利用另一个帧的信息来恢复被遮盖的区域。

通过这种自监督式的学习方式,我们从扩散先验中开发出的模型能够有效捕捉不同图像之间的语义对应关系。

我们在各种测试场景下验证了该方法的有效性,结果表明它优于现有的替代方法。为促进进一步研究,我们还构建了一个基准数据集。

总的来说,这种"模仿式编辑"为用户提供了一种全新的创作方式,大大降低了图像编辑的门槛,值得在实际应用中进一步探索和推广。