文章目录
贡献
dgfont的增强版,与之前的版本相比,增加了以下内容。
(1)提出了一种更鲁棒的风格特征提取方法。我们引入字体的数据增强操作来构造字符的正对等体,并引入对比损失来帮助模型学习更好的表示。
(2)将局部空间注意整合到FDSC模块中,即FDSC-attn。
(3)通过实验对dgfont++的功能进行了烧蚀和分析。
(4)我们对不同尺寸的图像进行更全面的实验,并与最先进的方法进行比较。
主要贡献
- 引入了一种特征变形跳过连接(FDSC)来学习字体之间的局部模式和几何转换。
FDSC预测对位移映射,并利用预测的映射对低层次内容特征映射应用可变形卷积。FDSC的输出被送入混合器以产生最终结果。 - 此外,我们引入对比自监督学习,通过了解字体的相似性和差异性来学习字体的健壮风格表示。
- 为了区分不同的风格,我们用一个多任务鉴别器来训练我们的模型,这确保了每个风格都可以独立地被区分。
- 除了对抗性损失外,还采用了另外两种重构损失来约束生成图像与内容图像之间的域不变特征。利用FDSC和所采用的损失函数,我们的模型能够保持空间信息,并以无监督的方式生成高质量的字符图像。实验证明,我们的模型能够生成更高质量的字符图像比最先进的方法。
intro
风格映射
“Rewrite”[4]和“zi2zi”[5],通过学习从一种风格到另一种风格的映射,使用数千个配对字符来生成标识语言字符。
在此基础上,EMD[6]和SA-V AE[7]设计神经网络将内容和风格表示分离,并可扩展生成新的风格或内容的特征。然而&#