概述:现代图像修复(Modern image inpainting)技术尽管已取得了长足的进步,但往往难以处理大面积的缺失区域、复杂的几何结构和高分辨率图像。研究人员发现造成这种情况的主要原因之一是修复网络和损失函数都缺乏有效的感受野。因此,大的有效感受野对于理解图像的全局结构并因此解决修复问题至关重要。
为了解决这一问题,来自三星、洛桑联邦理工学院等机构的研究者提出了一种新方法,LaMa(large mask inpainting),该方法基于(1)一种使用了快速傅里叶卷积的修复网络架构,该架构具有较宽的图像感受野;(2)高感受野感知损失;(3)较大的训练掩码,可以释放前两个组件的潜力。
该模型提出的修复网络在一系列数据集上改进了 SOTA 技术,即使在具有挑战性的情况下也能实现出色的性能。此外,该模型还可以很好地泛化到比训练时更高的分辨率图像,以较低的参数量和计算成本实现与基准相媲美的性能。
论文地址:https://arxiv.org/pdf/2109.07161.pdf
GitHub 地址:https://github.com/saic-mdal/lama
另外,有程序员在Github上发布了一个针对该lama模型进行的2次封装的工具,开箱即用。免去了复杂的安装过程,对于电脑没有显卡的也可以使用,启动工具的时候指定cpu模式就行了,具体可以查看仓库介绍。另外该仓库不仅封装了lama模型ÿ