gengsj

①提出一个 风格引导的扩散模型（SGDiff），把 图像模态 与 预训练的t2i模型 组合起来。②提出一个 数据集 SG-Fashion。

goal：generate an image in which objects in a source structure image are “painted” with the visual appearance of their semantically related objects in a target appearance image.（生成一个图像，其中源结构图像中的对象被“绘制”为目标外观图像中与其语义相关的对象的视觉外观。

就到huggingface网站上面下载这个模型，放到服务器上面的某个位置，然后再改一下代码。原因：huggingface被科学了==

重新卸载环境，然后安装，结果发现磁盘空间不够了= =，难以想象，服务器只有1T的硬盘。

自己的理解：根据几个图像，找出来一个关键字可以代表它们，然后我们可以再用这个关键字去生成新的东西。提出关键字。

BLIP-Diffusion 可以完成 主题驱动的多模态控制。怎么体现出来这个 多模态控制的呢？1.用 BLIP2里面的 multimodal control 输出 visual representation；2.设计 subject representation learning task 使得 SD使用这个 visual... 来生成 new subject renditions.2.有效的 fine-tune 使得速度提升了20倍；

【代码】UNet Model。

因为条件的feature map得是 64 \times 64 的，所以需要一个小网络 把条件图像（512 \times 512 \rightarrow 64\times 64）。零卷积就成为一种独特的连接层，以一种学习的方式从零逐步增长到优化参数。解释：ControlNet直接从输入数据中学到所必要的条件和特征，然后直接输出，中间不需要什么操作。学习方式，一端是输入数据、另一端是输出数据，让神经网络自己根据数据调节自己，而不需要人工干预。①许多特定任务的数据集比较小，需要稳定的神经网络，以防止过拟合；