DeepCreamPy是一个基于部分卷积的图像修复项目，能够自动修复漫画图像中的空缺部分和马赛克。该项目允许用户通过绿色标记需要修复的区域，然后使用预训练模型进行修复，无需复杂的后处理。修复效果适用于不规则形状的空缺，且对漫画图像特别有效。预构建的二进制文件适用于Windows系统，其他系统也可根据项目说明运行。
图像修复在应用上非常吸引人，通常设计师需要使用 Photoshop 根据图像周围修复空缺部分。这一过程非常耗时和细致，因此很早就有研究尝试使用机器学习模型自动化这一过程。这篇文章介绍了 DeepCreamPy 项目，它可以自动修复漫画图像中的空缺部分和马赛克。该项目主要基于几个月前 Nvidia 提出使用部分卷积修复图像不规则空缺的研究。
本文将简要介绍这项研究与 DeepCreamPy 实现项目，读者可下载项目代码或预构建的二进制文件，并尝试修复漫画图像或马赛克。这一个项目可以直接使用 CPU 进行推断，Windows 用户甚至都不需要安装环境都可以直接运行预构建的文件修复图像。
图像修复任务可用于多种应用。比如用于图像编辑：移除不需要的图像内容，用合理的图像内容填补移除后的空缺。之前的深度学习方法都聚焦在图像中心的矩形区域，往往依赖昂贵的后处理。而 DeepCreamPy 项目基于的方法提出一种图像修复的新模型，可在不规则的空缺模式上鲁棒地生成有意义的预测（图 1），预测结果与图像其余部分完美契合，无需进行额外的后处理或混合操作（blending operation）。
图 1：原始图像和使用本研究提出的基于部分卷积的网络进行修复的对应修复结果。
近期不使用深度学习技术的图像修复方法均使用图像剩余部分的统计信息来填补空缺。当前最优方法之一 PatchMatch [3] 迭代地搜索最适合的图像块来填补空缺。尽管该方法生成的结果通常较为流畅，但它受限于可用的图像统计信息，且不具备视觉语义学的概念。例如，在图 2（b）中，PatchMatch 能够使用来自周围阴影和墙体的图像快流畅地填补画作的空缺部分，但是语义感知方法利用的是来自画作本身的图像块。
深度神经网络以端到端的方式学习语义优先（semantic prior）和有意义的隐藏表征，这已经用于近期的图像修复工作。这些网络对图像采用卷积滤波器，用固定值替代缺失的内容。结果，这些方法依赖于初始空缺的值，初始空缺的值通常表现为空缺区域缺乏纹理和明显的颜色对比或空缺周围的人工边缘响应。图 2（e）和 2&#
最低0.47元/天 解锁文章
扫一扫
848
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
