High-Fidelity Pluralistic Image Completion with Transformers论文阅读笔记

会议：ICCV 2021

作者：Ziyu Wan        Jingbo Zhang          Dongdong Chen     Jing Liao*

单位：City University of Hong Kong                 Microsoft Cloud + AI

Abstract

        由于卷积神经网络(CNN)具有强大的纹理建模能力，因此CNN在图像修复领域上取得了巨大的进展。但，由于CNN的一些固有属性（local inductive prior 局部归纳先验，spatial invariant kernels空间不变核），其不能很好的理解全局特征。最近，transformer展示了其在long-term关系模型建立和产生多样化结果的强大能力，但是其计算复杂度与输入长度成二次平方比的。论文提出了一种两全其美的办法进行多样化图像修复：使用transformer来重构先验图像，使用CNN来补充图像纹理。transformer用来恢复相关结构以及粗糙的纹理信息。CNN在高分辨率先验mask图像的引导下用来进一步增强局部纹理信息。

METHOD

虽然图像可以直接经过resize后输入到transformer进行处理，但是这么做的计算量非常巨大(图像长度的平方)，所以在这里作者使用了两个小trick来处理图像：
1、将图像进行下采样以降低分辨率。经过下采样后，图像虽然丢失了大多数texture信息，但是绝大多数的结构信息是被保留下来的。
2、通过将RGB的ImageNet进行像素聚类，获得聚类中心，用最近的聚类中心的序列来表示输入图像的像素（这一步的聚类和查询个人没有看明白）。此外对于缺失部分，作者使用特殊的[mask]进行标记，这种特殊的标记就是后面transformer网络所要学习的目标。