【文字风格】SwapText: Image Based Texts Transfer in Scenes论文阅读

来源:阿里巴巴
code:未开源

摘要： 在保留原始字体、颜色、大小和背景纹理的同时，在场景图像中交换文本是一项具有挑战性的任务，因为不同的因素之间存在复杂的相互作用。在这项工作中，我们提出了SwapText，一个三个阶段的框架来转移文本的场景图像。首先，提出了一种新的文本交换网络来代替前景图像中的文本标签。其次，学习背景补全网络来重建背景图像。最后，利用所生成的前景图像和背景图像，通过融合网络生成单词图像。利用提出的框架，我们可以操作输入图像的文本，即使有严重的几何失真。定性和定量的结果，提出了几个场景文本数据集，包括规则和不规则的文本数据集。我们进行了大量的实验来证明我们的方法的有效性，如基于图像的文本翻译，文本图像合成等。

作用：

前景+背景+融合三部分，但是是端到端训练的。

前言

• 文字识别中，现在有很多人工合成的数据集，前期是用随机的图片，再配以多样变化的字体合成而成。 然而，合成图像与场景中的图像并不完全吻合，这一点在应用合成图像训练DNN模型时至关重要。（不知道有多大影响，能提升多少）