Feature Refinement to Improve High Resolution Image Inpainting特征细化以提高高分辨率的图像修复（2022）论文笔记

一、摘要

本文解决了在高分辨率下运行的神经网络的图像质量下降的问题。修复网络通常无法以高于其训练集的分辨率生成全局连贯的结构。部分原因是，尽管图像分辨率有所提高，但感受野仍然保持静止。虽然在修复之前缩小图像的比例会产生连贯的结构，但它本质上缺乏更高分辨率下的细节。为了两全其美，本文通过最小化推理时的多尺度一致性损失来优化网络的中间特征映射。

二、介绍

在修复一个区域时，增大操作图像的尺寸大小会成比例地减少网络中可用的局部上下文，从而导致结构不连贯和纹理模糊。为了解决这个问题，本文提出了一种新的从粗到精的迭代改进方法，该方法通过多尺度损失来优化特征映射。通过使用较低分辨率的预测作为指导，细化过程产生了详细的高分辨率的修复结果，同时保持了低分辨率预测的颜色和结构。不需要对修复网络进行额外的训练，只有特征映射在推理过程中被细化。

三、方法

多尺度特征细化

多尺度特征细化遵循一种从粗到精的方法，迭代地为图像预测添加更多细节。

在最低的分辨率下，我们对整个修复模型执行一次前向传递，以获得初始的修复预测。对于每个后续规模，对“front”执行一次前向传递来生成一个初始的特征映射z。

网络的rear部分处理z以产生修复预测。然后将预测缩小到与前一个规模的结果分辨率相匹配。计算掩码修复区域之间的L1损失，并通过反向传播更新z来最小化。这将优化z以产生与之前的规模具有相似特征的更高分辨率的预测。

选择特征映射z的依据是特征映射距离预测层较远，有更大的感受野，能够影响更多的输出。

四、总结

本文提出了一种多尺度细化技术，以提高神经网络在分辨率高于原始训练分辨率的图像上的修复性能。这种细化与网络无关，不需要额外的模型再训练。我们的研究结果表明，这种技术在高分辨率修复方面明显优于其他先进的方法。