weixin_44212848的博客

如果只是为了上传备份、或者迁移数据，可以不用 huggingface dataset，而是直接使用 HfApi()来上传文件夹。

用以上 launch.json 对 accelerator + deepspeed 的训练代码进行 debug，结果完全无法连接。灵感来源：https://blog.csdn.net/qq_19716143/article/details/136035839。

IP-Adapter 训的就是 image_proj_model（或者对于 plus 来说是 resampler） 和 adapter_modules 两块。在 adapter_modules 中，实际只训了 IPAttnProcessor2_0 的 to_k_ip 和 to_v_ip。adapter_modules 是在每个有含有 cross attention 的 unet block 里进行的替换，如下图所示。

中的 JointTransformerBlock 类，其中 hidden_states （noisy latent）和 encoder_hidden_states (text prompt) 分别通过 norm1 和 norm1_context 后，进入了第四层。transformer_sd3.py 中的 forward 函数中以下片段进入 for 循环，如果不训练 backbone的话，那么就是从 else 分支进入 block 中。下方画出的图片和对应代码即为文图融合的核心关键，在原论文中。

（1）先 warm up，在前 1/10 个训练步中，学习率从 0 调节到设定的 1e-5。自动调节学习率的方式很多，本文先从最简单地尝试起来，即“线性调节”（2）再衰减，在后续的训练步中，线性地从 1e-5 逐渐减为 0。

AttributeError 是一种异常，当你试图访问或操作一个对象不存在的属性时会发生。在 Python 中，一切皆对象，对象具有定义其行为和属性的属性。当你试图访问一个不存在的属性时，Python 会引发 AttributeError 来告知你出了问题。

本篇则详细介绍 StarVector 如何制作数据集的，以及文章提到的两个 SVG 相关工具。

本篇则重点介绍数据和实验部分。StarVector 一文中提出了一个用于验证位图到矢量图生成的数据集SVGBench，其主要来源于 Glypazzn[1]，DeepSVG[2]，TheStack[3] 三个工作。如下图所示：对于不同的 Dataset （SVG-Fonts、Icons、Emoji和Stack）均拆为了训练、验证和测试集。SVG 简化（Simplification）:由于 DeepSVG[2] 需要对其输入的SVG进行简化。

StarVector 的模型可以分为两大块：（1）Image Encoder and Visual Tokens 和 （2）CodeLLM（StarCode）

背景：可伸缩矢量图形（Scalable Vector Graphics，SVG）已经成为现代图像渲染应用程序中不可或缺的一部分，因为它们具有。方法：StarVector 是一种多模态SVG生成模型，它有效地集成了代码生成大型语言模型（CodeLLMs）和视觉模型。从以下对比中可以看出，StarVector 和 GPT-4 V 有类似的 SVG 生成功能。存在的问题：现有的使用深度学习进行SVG建模的方法通常难以生成复杂的SVG，并且仅限于需要。任务： 输入一张位图，输出一张位图对应的 SVG 矢量图。