超级会员免费看
该研究介绍了一种基于扩散的模型，结合视觉记忆和注意力机制，用于多句故事的视觉一致性生成。模型处理文本引用解析，确保角色和场景在故事中的一致性，同时提升图像的视觉质量。在MUGEN和PororoSV数据集上进行了评估，展现出在故事讲述和动画、视频编辑等领域的应用潜力。
我们采用以下 6 个分类标准来详细解释本文的研究主题：
1. 生成模型类型：
- 基于扩散的：这种方法通过前向扩散过程迭代地将噪声细化为图像。这允许生成高质量的图像，并控制特定方面，如场景元素和照明。
- 基于注意力的：注意力机制有助于模型在生成每个帧时集中在文本描述和视觉记忆的相关部分。这使得参考解析（识别代词所指的人或物）和跨帧保持一致性成为可能。
- 内存增强的：视觉记忆模块存储前几帧中有关演员和背景的信息。这允许模型“记住”谁是谁以及他们在哪里，确保故事的连续性。
2. 条件输入：
- 单句：传统的故事可视化模型通常将单句作为每个帧的输入。然而，这对于捕捉具有多个角色和事件的复杂叙事来说是有限的。
- 多句：该模型可以处理以多句写成的故事情节，提供更丰富的上下文，
订阅专栏 解锁全文
扫一扫
8927
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
