【SVG 生成系列论文（十）】分层的矢量路径生成 Text-to-Vector Generation with Neural Path Representation

• SVG 生成系列论文（一） 和 SVG 生成系列论文（二） 分别介绍了 StarVector 的大致背景和详细的模型细节。
• SVG 生成系列论文（三）和 SVG 生成系列论文（四）则分别介绍实验、数据集和数据增强细节。
• SVG 生成系列论文（五）介绍了从光栅图像（如 PNG、JPG 格式）转换为矢量图形（如 SVG、EPS 格式）的关键技术-像素预过滤（pixel prefiltering）， Diffvg 这篇论文也是 SVG 生成与编辑领域中 “基于优化”方法的开创性研究。
• SVG 生成系列论文（六） 和 SVG 生成系列论文（七） 简要介绍了 IconShop 的背景、应用和部分细节。
• SVG 生成系列论文（八）则介绍了模型架构和具体的训练技巧。SVG 生成系列论文（九）详细地介绍了 iconshop 的推理代码。
  
  研究主页：https://intchous.github.io/T2V-NPR/

1. 背景与挑战
   背景：在数字艺术领域，矢量图形因其可缩放性和分层特性深受设计师喜爱。然而，创建和编辑高质量的矢量图形需要专业知识和大量时间。本文介绍了一种新颖的神经路径表示方法，旨在通过文本到矢量（Text to vector, T2V）生成技术，使矢量图形的创建更加便捷。
   挑战：现有的T2V方法通常直接优化矢量图形路径的控制点，但由于缺乏几何约束，常常导致路径相交或锯齿状的效果。

2. 创新方法
   （1）引入了一种新的 T2V 生成管道，该管道通过优化局部神经路径表示（local neural path representation）实现高质量矢量图形生成。这种方法不仅保持了生成SVG图形的表现力，还加入了几何约束。
   （2）设计了一个双分支VAE，从路径的序列和图像模态中学习路径的潜在表示（神经路径表示）。序列模态有助于学习几何属性，而图像模态则有助于学习渲染特性。如下图（a）所示。
   （3）开发了一种两阶段文本驱动的神经路径优化方法，以指导创建具有有效和逐层SVG路径的矢量图形。第一阶段使用预训练的文本到图像扩散模型，通过变分分数蒸馏（Variational Score Distillation，VSD）过程生成初始SVG。第二阶段采用路径简化和分层优化策略，对初始生成的SVG进行进一步优化，以实现更清晰的几何和结构。如下图（b）所示。

3. 实验与应用
   通过广泛的实验，验证了该方法在生成高质量和多样化矢量图形方面的有效性。的方法不仅适用于T2V生成，还支持矢量图形定制、图像到SVG生成和SVG动画等多种应用。
   具体应用如下：

（1）具有可调细节级别的SVG生成

（2）不同风格的文本到矢量图形生成

（3）SVG 定制化生成

（4）像素图像到矢量图形

（5）SVG 动画