GpuMall智算云：StoryDiffusion：具有一致人物的图像和长视频生成

简介

StoryDiffusion 是由南开大学HVision团队开发的创新人工智能工具。它的核心功能是生成连贯的图像和视频故事，尤其擅长于漫画创作。该工具采用了先进的一致性自注意力（Consistent Self-Attention）技术，可以在无需额外训练的情况下，生成主题一致的图像序列，这些图像非常适合用于叙述故事或作为进一步内容创作的基础。GpuMall智算云 | 省钱、好用、弹性。租GPU就上GpuMall,面向AI开发者的GPU云平台

StoryDiffusion 特别强调在生成多图漫画和长视频时保持角色的一致性，这一点在需要连贯叙事的广告、电影等领域显得尤为重要。#autodl#恒源云#矩池云#算力云#恒源云 实例迁移#autodl 官网#autodi#GpuMall#GPU云#AutoDL#AotuDL 算力云#GpuMall智算云#AI#大数据#算力租赁#大模型#深度学习#人工智能#算力变现

StoryDiffusion 可以通过生成一致的图像和视频来创造一个神奇的故事。我们的工作主要有两部分：

• 一致的自注意力，可在长范围序列上生成字符一致的图像。它可热插拔，并兼容所有基于 SD1.5 和 SDXL 的图像扩散模型。对于当前的实现，用户需要为一致的自注意力模块提供至少3个文本提示。我们建议至少使用 5 - 6 个文本提示，以便更好地安排布局。
• 用于长距离视频生成的运动预测器，在压缩图像语义空间中预测条件图像之间的运动，实现更大的运动预测。

功能特征

• 角色连贯性保持：通过一致性自注意力机制，StoryDiffusion 能够生成风格和服装一致的图像和视频，确保多图漫画和长视频中的角色连贯性，从而实现流畅的故事叙述。
• 多场景应用：除了漫画生成，StoryDiffusion 还适用于图像转视频等多种应用场景。用户可以提供一系列条件图像，利用 Image-to-Video 模型生成视频，为广告、电影等领域提供创新的内容制作方式。
• 教育材料设计：教育工作者可以利用 StoryDiffusion 设计引人入胜的教育视频或互动故事，这有助于增强学习者的参与度和兴趣。
• 长范围图像生成功能：特别适用于制作连贯的广告故事，有助于加强品牌形象。这一功能让 StoryDiffusion 在广告和品牌推广方面展现出独特的优势。
• 即插即用无需训练：通过将一致性自注意力技术整合进现有的 U-Net 图像生成模型架构，并重用原有的自注意力权重，StoryDiffusion 实现了无需训练的即插即用特性。
• 高效能与稳健性：在保持角色特性和符合提示描述的同时，StoryDiffusion 在定量指标上展示了优异的性能和稳健性。

运行环境推荐

（推荐）我们提供低 GPU 内存成本版本，它在具有 24GB GPU 内存（Tesla A10）和 30GB RAM 的机器上进行了测试，预计可以在 >20 G GPU 内存的情况下正常运行。

使用限制：

高可用区，宁夏一区

1、创建实例

登陆控制台，点击“实例管理”，“创建实例”

选择“高可用云”，点击“社区镜像”，选择“StoryDiffusion”，点击“创建实例”

2、启动服务

待实例进入“运行中”，点击 “更多” - “创建自定义端口”

点击“添加自定义端口”，填写 “7860”，确定

点击“自定义端口7860”

进入 story diffusion web控制台

推理

下拉页面到 “examples”

填入 example1 中的配置

pic1:

pic2:

pic3:

点击 “Generate” 即生成漫画图片和封面

Tips：Comic book 类型需注意 “Comic Description” 信息格式（each line corresponds to a frame），否则报错。