One Prompt One Story

1p1s

Title: ONE-PROMPT-ONE-STORY: FREE-LUNCH CONSISTENT TEXT-TO-IMAGE GENERATION USING A SINGLE PROMPT
上次编辑: 2025年3月12日 10:14

Method

Context Consistent

Problem Setups

1. 原先的T2I问生成使用一系列的Prompt，但是这样的分离生成的pipeline忽略了自然语言中的特质—内容之间的一致性
2. 对于原先的方法每一帧对应着独立的提示 $[P_0,P_i]$，而作者提出的方法为$[P_0,P_1,P_2...P_n]$

Context Consistent

1. 将上述的独立提示词和整体提示词经过clip，通过t-SNE的方式进行可视化

2. 发现多图像设置的的在表达空间之中有更为广泛的分布，效果较弱

   

Context Consistent In Image Genration

1. 在上面的基础上，提出了Naive Prompt Reweighting（NPR），来增强原先Prompt的功能
2. 然后使用DINO+t-SNE进行可视化，可以看出增加了NPR之后，效果显著提升

One Prompt One Story

通过上述的分析，简单的对Prompt进行concat和增强不能保证生成图片准确反映信息，作者认为这是T2I模型无法准确对prompt embedding序列进行分割导致的，同时语义之间存在干扰

Singular Value Reweighting

1. 由于上述的NPR思想有一定的作用，作者将现在的frame描述确定为$P^{exp},P^{sup}$，其中$P^{exp}$代表对应frame的prompt， $p^{sup}$代表所有frame的加权，

   $$\begin{array}{l}{\mathcal{X}}^{exp}=[{\mathbf{c}}^{P_j},{\mathbf{c}}^{EOI}]\\ {\mathcal{X}}^{sup}=[{\mathbf{c}}^{P_1},\dots ,{\mathbf{c}}^{P_{j-1}},{\mathbf{c}}^{P_{j+1}},\dots ,{\mathbf{c}}^{P_N},{\mathbf{c}}^{EOT}].\end{array}$$

2. 对上述式子进行SVD分解，${\mathcal{X}}^{exp}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T,\mathrm{where}\mathbf{\Sigma }=diag({\sigma }_0,{\sigma }_1,\cdots ,{\sigma }_{n_j})$对其中的 $\hat{\sigma }=\beta e^{\alpha \sigma }\ast \sigma .$进行增强 同时用类似的方式，对${\mathcal{X}}^{sup}$进行减弱 $\tilde{\sigma }={\beta }^{\prime }{e}^{-{\alpha }^{\prime }\hat{\sigma }}\ast \hat{\sigma }.$

Identity-Preserving Cross-Attention

1. 用concat的方式进行新KV矩阵的构造，其中新的KV图中的和$\widetilde{{\mathcal{P}}_i},i\in [1,\tilde{N}]$相关的token-feature设置为0，也就是新的KV-embedding仅含有原先的带有物体信息的prompt
2. 将两种prompt进行concat实际上是对物体信息进行了增强