One-Prompt-One-Story：无须训练即可保持身份一致性

One-Prompt-One-Story: Free-Lunch Consistent Text-to-Image Generation Using a Single Prompt

文生图模型很难支持故事叙述中一致的身份保留要求。（要么通过训练，要么通过修改模型结构）.本文利用语言模型的语境一致性，即通过单一提示的语境来理解身份。这种方法将所有提示连接作为一个整体作为T2I模型的单个输入，同时采用两种技术来改进生成过程：奇异值重加权和身份保持交叉注意。

什么是语言模型的语境一致性？

在长提示符中，身份信息是通过上下文理解隐式维护的，我们称之为语言模型的上下文一致性。
例如：A dog is watching the movie. Afterward, the dog is lying in the garden.（我们可以知道在这一段话中，这只狗代表的是同一只狗，因为在同一段话出现）

这里有个实验说明：单提示生成设置下，文本嵌入空间中彼此之间的语义距离相对较小，而跨多提示生成设置的文本嵌入空间彼此之间的语义距离相对较大。

主体提示符 P0 = “A watercolor of a cute kitten”
5个子提示符 P(1~5) = "in a garden, “dressed in a superhero cape”, “wearing a collar with a bell”, “sitting in a basket”, “dressed in a cute sweater”

作者比较了不同设置下的文本编码在文本嵌入空间中：

• 多提示生成的设置下，即 Ci = TextEncoder（P0,Pi）
• 单提示设置下，即 C = TextEncoder（P0,P1,P2,…,PN）

作者这里用 t-SNE 做了 2D 的可视化，可以看到即在单提示设置下，Pi的语义距离相对较小。

如何利用朴素的重加权方法（NPR）来实现图像空间中的上下文一致性？

Naive Prompt Reweighting (NPR)：即使用连接起来的总提示符作为输入，生成第i个场景，就通过一个放大因子重新加权对应于所需场景的提示嵌入，同时通过一个缩小因子重新缩放其他场景提示的嵌入。

缺点: T2I模型虽然综合了具有相同主体身份的帧图像。然而，背景在这些帧之间混合，

(一)1prompt1story: Singular-Value Reweighting 奇异值重加权

TextEncoder(P0, P1, . . . , PN) = [cSOT , cP0 , cP1 , . . . , cPN , cEOT ]

X e x p = [ c P j , c E