会议:ICCV 2021
作者:Ziyu Wan Jingbo Zhang Dongdong Chen Jing Liao*
单位:City University of Hong Kong Microsoft Cloud + AI
Abstract
由于卷积神经网络(CNN)具有强大的纹理建模能力,因此CNN在图像修复领域上取得了巨大的进展。但,由于CNN的一些固有属性(local inductive prior 局部归纳先验,spatial invariant kernels空间不变核),其不能很好的理解全局特征。最近,transformer展示了其在long-term关系模型建立和产生多样化结果的强大能力,但是其计算复杂度与输入长度成二次平方比的。论文提出了一种两全其美的办法进行多样化图像修复:使用transformer来重构先验图像,使用CNN来补充图像纹理。transformer用来恢复相关结构以及粗糙的纹理信息。CNN在高分辨率先验mask图像的引导下用来进一步增强局部纹理信息。
METHOD
虽然图像可以直接经过resize后输入到transformer进行处理,但是这么做的计算量非常巨大(图像长度的平方),所以在这里作者使用了两个小trick来处理图像:
1、将图像进行下采样以降低分辨率。经过下采样后,图像虽然丢失了大多数texture信息,但是绝大多数的结构信息是被保留下来的。
2、通过将RGB的ImageNet进行像素聚类,获得聚类中心,用最近的聚类中心的序列来表示输入图像的像素(这一步的聚类和查询个人没有看明白)。此外对于缺失部分,作者使用特殊的[mask]进行标记,这种特殊的标记就是后面transformer网络所要学习的目标。