详细解读字节跳动视频生成模型StoryDiffusion：连环画创作和长视频生成

已于 2024-05-13 10:52:20 修改
阅读量2k 收藏 14
点赞数 22
分类专栏： Diffusion Models与深度学习 文章标签： 人工智能 扩散模型 视频生成 AIGC 视频编辑
于 2024-05-10 11:43:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/131874829
版权
本文详细解读字节跳动的StoryDiffusion模型，该模型能生成主题一致的图像序列及长视频。采用Consistent Self-Attention保持图像中人物一致性，通过语义运动预测器预测帧间转换，实现视频生成。同时，提供了代码链接供读者参考。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Diffusion Models专栏文章汇总：入门与实战

前言：最近字节跳动提出了一项关于特征一致图像生成的工作StoryDiffusion，可以生成一系列特征主题相关的图像，还可以扩展成具有时间一致性的帧序列，从而组成长视频。这篇博客火速解读这篇最新的工作，包括论文和代码。

目录

贡献概述

方法详解

第一阶段：基于Consistent Self-Attention的主题相关的图片生成

第二阶段：转换视频生成

代码

个人感悟

贡献概述

作者自己概括的三点贡献：

1、我们提出了一个无训练和热插拔注意模块，称为一致自注意力。它可以保持一系列生成的图像中字符的一致性，用于具有高文本可控性的讲故事。

2、我们提出了一种新

了解本专栏 订阅专栏 解锁全文 超级会员免费看
干货教程【AI篇】| 最强AI绘画StoryDiffusion整合包免费下载，双击直接使用并附赠超详细教程
铃灵狗的水墨书乡
06-04 2752
全网最好用的AI绘画工具，整合包免费下载！
字节跳动GOKU视频生成模型
IT大头的博客
02-14 1655
字节跳动推出了 Goku，这是一种专为高质量视频生成而设计的高级 AI 模型。通过利用文本到视频和图像到视频的合成，Goku 重新定义了 AI 驱动的内容创作并突破了创意界限。
星海智算：StoryDiffusion：梦幻编织，一键穿梭多元叙事宇宙！
2402_84709675的博客
11-28 535
StoryDiffusion是由字节跳动和南开大学HVision团队开发的创新人工智能工具，专注于生成连贯的图像与视频故事，尤其擅长漫画创作。它采用先进的一致性自注意力技术，无需额外训练即可产出风格统一、角色连贯的图像序列，轻松构建引人入胜的故事情节，其即插即用、高效稳健的特性，让创意表达更加自由流畅，为用户提供了创作漫画等内容的便捷工具。
生成一个好故事！StoryDiffusion:一致自注意力和语义运动预测器必不可少（南开&字节）
AIGCer的博客
05-06 2210
最近，扩散模型发展迅速，并展示了在内容生成方面的非凡潜力，如图像，3D目标和视频。通过广泛的预训练和先进的架构，扩散模型在生成高质量图像和视频方面表现优于先前基于生成对抗网络（GAN）的方法。然而，生成具有一致主题（例如，具有一致身份和服装的角色）的图像和视频来描述故事对现有模型仍然具有挑战性。常用的以图像为参考的IP-Adapter可以用于指导扩散过程以生成类似于它的图像。然而，由于强大的引导作用，对文本提示生成的内容的可控性降低了。
StoryDiffusion本地部署教程——字节联合南开开源 ，开辟视觉叙事新纪元
最新发布
SJJS_1的博客
03-05 629
StoryDiffusion 是由南开大学与字节跳动的联合研究小组共同研发的一项突破性的图像与视频合成技术。它通过融合先进的自我注意力机制与语义运动预测技术，实现了在文本驱动下生成具有一致主题的图像和视频，为视觉叙事开辟了新的纪元。：通过将多个文本提示（至少3个）批量输入模型，建立跨图像的关联性，确保角色外观、服饰等特征在长序列中稳定不变。例如，生成漫画时，角色在不同场景中的发型、服装细节可保持统一。：将图像编码至语义空间，预测动作轨迹，实现平滑的视频过渡。
Story Diffusion：让你用一句话创作自己的漫画！
weixin_41496173的博客
05-10 1861
革命性工具名为story diffusion，这是一款基于小说文本生成一致性漫画的AI工具。
视觉叙事的艺术：StoryDiffusion打造一致性图像/视频故事创作
孙佰贵的专栏
05-16 3566
本文提出了一种名为StoryDiffusion的新方法，用于生成一系列内容一致的图像和视频，特别是那些包含主体和复杂细节的图像。StoryDiffusion通过两种新颖的组件来实现这一目标：Consistent Self-Attention（一致性自注意力）和Semantic Motion Predictor（语义运动预测器）。
StoryDiffusion Consistent Self-attention for Long-range Image And Video Generation
weixin_44966641的博客
05-06 1744
Story Diffusion 第一阶段的 batch 内 KV 共享来实现图片彼此之间的交互，进而保证主题一致性。第二阶段先提取首尾帧特征并插值，处理后作为条件注入到生图过程中。第一阶段的 KV 共享的方式感觉不如 ConsiStory 的方式精妙，但是 ConsiStory 是为了背景的多样性选择了仅在主题区域内进行 KV 共享，Story Diffusion 的随机选图全局共享的方式，背景一致性也得到了一定保证，对后续的插帧视频生成更友好一些。
Diffusion Models视频生成-博客汇总
沉迷单车的追风少年
10-28 4567
Diffusion Models视频生成-博客汇总
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《DiffusionModels与深度学习》专栏文章导航
2024 StoryDiffusion 文字/文字+图像-----＞视频
qq_43275608的博客
02-12 1366
StoryDiffusion在生成平滑、物理一致的过渡视频方面表现出色，尤其在用户偏好度、角色一致性以及与现有模型的兼容性方面具有显著优势。然而，其在细微细节的一致性和复杂场景下的表现仍有改进空间。
四步轻松搞定！探索字节最新AnimateDiff-Lightning：高质量视频生成的秘密武器！
2401_85688943的博客
06-26 1303
该模型采用了渐进式对抗扩散蒸馏技术，恰似可以使用闪电般的快速视频生成。同时字节研发团队也提出了跨模式扩散蒸馏，提高蒸馏模块泛化到不同的风格化基本模型的能力。这一突破性进展也为 AI视频生成领域 带来了新的可能性。尤其是与 Contorlnet 的配合下，视频转绘 的工作流程有望迎来全新的升级。此外，字节团队还开源提供了对应的Comfyui工作流程，为开发者提供了一套完整且高效的解决方案。
StoryDiffusion：一致性自注意力用于长距离图像和AI视频生成
阿道夫的博客
07-09 1210
大家好我是阿道夫！！！艺术创作领域，长距离图像和AI视频生成一直是艺术家和设计师追求的目标。如今，借助StoryDiffusion这一先进的AI技术，你不仅可以实现长距离图像和AI视频的生成，还能保持图像和视频之间的一致性。本文将带你深入了解StoryDiffusion的使用方法，助你轻松掌握这一技巧。StoryDiffusion是一款基于深度学习的图像和视频生成模型，它能够在没有任何人类指导的情况下生成高质量、逼真的图像和视频。
使用StoryDiffusion空间画漫画
Winfredzhang的博客
05-20 1744
你无需掌握专业的绘画技能,只需输入文字描述,AI就会为你渲染出精美的画面。当然,漫画创作的最终效果还需要人工调整和完善,但StoryDiffusion无疑为创作提供了强有力的辅助。StoryDiffusion是一个基于Diffusion Model的文本到图像生成工具,它允许用户输入文本描述,生成相应的图像。我们可以为每个场景输入相应的文字描述,StoryDiffusion就会生成对应的画面。有些时候,为了控制生成图像的某些方面,你可以在"Negative_prompt"框中添加一些提示词。
在矩池云上使用StoryDiffusion的详细方法
机器学习是魔鬼的博客
05-28 1327
StoryDiffusion 是由南开大学和字节跳动团队联合研发的，基于一致性自注意力机制生成长跨度图像和视频的新型扩散模型（Consistent Self-Attention for Long-Range Image and Video Generation），使用者不需要进行额外训练，就可以生成风格一致的图像序列。·利用Consistent Self-Attention机制来生成主题一致的连续内容，生成类似于漫画书、连环画等场景的画面。
显卡算力不足？通过云算力，一键部署Story Diffusion|从零到一的创建部署指南
weixin_44438647的博客
05-10 2264
星海算力云一键部署Story Diffusion|从零到一的创建部署指南
StoryDiffusion：让多图漫画和长视频更连贯！南开、字节开源
idol24的博客
05-08 1069
本文来源 机器之心 编辑：杨文、亚鹂有了 StoryDiffusion，更加一致性的图像和视频生成得到了保障。两天前，图灵奖得主 Yann LeCun 转载了「自己登上月球去探索」的长篇漫画，引起了网友的热议。其实，产出这些漫画的研究出自南开大学、字节跳动等机构。在《StoryDiffusion：Consistent Self-Attention for long-range image an...
Claude 登录 iOS；南开携字节打造连贯叙事 AI 模型；OpenAI 断网波及 Rabbit R1 功能 | AI 头条...
AI科技大本营
05-03 1571
整理 | 王启隆出品 | AI 科技大本营（ID：rgznai100）一分钟速览新闻点！Claude 登录 iOS南开 x 字节 StoryDiffusion 重塑连贯视觉叙事微软公布首份 AI 责任透明报告NVIDIA ChatRTX 融合 Gemma 与 CLIP 模型，新增语音查询功能OpenAI 服务中断致 Rabbit R1 语音功能暂停Prometheus 2 模型革新语言模型质量评估...
字节跳动与南开联合开源 StoryDiffusion：一键生成漫画和视频故事的神器！完全免费！
分享AI工具/AI副业玩法
07-06 2917
StoryDiffusion，是一个开源的 AI 故事创作项目，由南开大学和字节跳动联手推出。StoryDiffusion 不仅可以一键生成连贯的剧情漫画，还支持故事视频的生成。而且能够保持人物的一致性，生成的图片和视频风格统一，让复杂故事的讲述变得更加连贯和流畅。先来看下官方的演示视频：**，时长00:44字节跳动与南开联合开源 StoryDiffusion：一键生成漫画和视频故事的神器！完全免费！
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值