Unet已死，Transformer当立！详细解读基于DiT的开源视频生成大模型EasyAnimate

已于 2024-06-24 10:26:59 修改
阅读量1.3k 收藏 18
点赞数 62
分类专栏： Diffusion Models与深度学习 文章标签： transformer 深度学习 人工智能 扩散模型 AIGC
于 2024-06-21 10:57:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/139827865
版权

Diffusion Models视频生成-博客汇总

前言：最近阿里云PIA团队开源了基于Diffusion Transformer结构的视频生成模型EasyAnimate，并且提出了专门针对视频的slice VAE，对于目前基于Unet结构的视频生成最好如SVD形成了降维打击，不论是生成质量、生成时长上都是遥遥领先。这篇博客详细解读一下EasyAnimate的技术报告《EasyAnimate: A High-Performance Long Video Generation Method based on Transformer Architecture》

目录

贡献概述

模型结构

Video VAE

Video DiT结构

三阶段训练

DiT训练

数据集清洗策略

视频分割

视频过滤

视频字幕

效果试用

个人感悟

贡献概述

EasyAnimate是一种用于视频生成的高级方法，它利用 Transformer 架构的力量来实现高性能结果。作者通过扩展了最初设计用于 2D 图像合成的 DiT 框架，通过结合运动模块块来适应 3D 视频生成的复杂性。它用于捕获时间动态，从而确保产生一致的帧和无缝的运动转换。运动模块可以适应各种 DiT 基线方法来生成具有不同风格的视频。它还可以在训练

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沉迷单车的追风少年
关注
  • 62
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 6
    评论
专栏目录
订阅专栏
基于Pytorch的UNet语义分割模型与代码
12-26
模型采用标准的UNet，可以采用如下方式训练你自己的模型 数据集地址可以在train.py中修改为你自己的文件夹 python train.py -- --epochs 20 --batch-size 16 --learning-rate 2e-4 --scale 1 --validation 0.1 --...
阿里巴巴重磅开源EasyAnimate！基于DiT的长视频制作生态系统
AIGCer的博客
06-18 704
人工智能在文本、图像和声音的创意内容生成方面已经决定性地扩展了其应用范围。在视觉领域，扩散模型被广泛用于图像生成和修改。开源项目如Stable Diffusion在文本转图像方面取得了显著进展。然而，在视频生成方面，当前模型仍面临一些挑战，如质量欠佳、视频长度有限以及运动不自然，这表明该技术还有很大的进步空间。一些开创性的研究在利用Stable Diffusion方法进行视频合成方面取得了进展，重点是用于去噪过程的UNet架构。最近，Sora 展现了非凡的视频生成能力，能够生成长达一分钟的高保真视频。
视频生成框架EasyAnimate正式开源！
科技很有意思
06-04 1379
近期，Sora模型的热度持续上涨，社区中涌现了一些类Sora的开源项目，这些项目均基于Diffusion Transformer结构，，旨在生成更长、更高分辨率、且效果更好的视频。EasyAnimate是阿里云人工智能平台PAI自主研发的DiT-based视频生成框架，它提供了。在预训练模型的基础上，EasyAnimate可通过少量图片的LoRA微调来改变生成视频的风格，相比已有方案具有更好的扩展性和完整性。
AIGC专栏10——EasyAnimate 一个新的类SORA文生视频模型 轻松文生视频
Bubbliiiing的学习小课堂
04-13 4300
在过年期间，OpenAI放出了SORA文生视频的预览效果，一瞬间各大媒体争相报道，又引爆了一次科技圈，可惜的是，SORA依然没选择开源。在这个契机下，本来我也对文生视频的工作非常感兴趣，所以也研究了一些与SORA相关的技术，虽然我们没有像OpenAI那么大的算力，但做一些基础研究还是足够的。 最近我参与了一个EasyAnimate的项目，可以根据文本生成视频，并且借鉴了Animatediff的IDEA，将MotionModule网格化后引入到DIT中，借助DIT的强大生成能力，生成视频效果也还不错。
扩散模型和Transformer梦幻联动！替换U-Net，一举拿下新SOTA！
阿木寺的博客
12-24 3749
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>扩散模型微信技术交流群转载自：量子位“U-Net已死，Transformer成为扩散模型新SOTA了！”就在ChatGPT占尽AI圈风头时，纽约大学谢赛宁的图像生成模型新论文横空出世，收获一众同行惊讶的声音。△MILA在读ML博士生Ethan Caballero论文创意性地将Transformer与扩散模型融合，...
基于Unet实现的心脏分割任务python源码+模型（高分项目）.zip
05-14
基于Unet实现的心脏分割任务python源码+模型（高分项目）.zip个人经导师指导并认可通过的98分大作业设计项目，主要针对计算机相关专业的正在做课程设计、期末大作业的学生和需要项目实战练习的学习者。 基于Unet...
基于Unet实现的心脏分割任务python源码+模型.zip
03-09
基于Unet实现的心脏分割任务python源码+模型.zip适合毕业设计、课程设计作业，所有源码均经过严格测试，可以直接运行，可以放心下载使用。 基于Unet实现的心脏分割任务python源码+模型.zip适合毕业设计、课程设计...
Swing transformer Unet源代码，能直接运行
09-03
Swing transformer Unet源代码，能直接运行。比github上的代码好的地方在于经过修改后，完成能直接运行，从github上下载的要调试好久。
皮肤病语义分割数据集+代码+unet模型 2000张标注好的数据+教学视频
02-13
这里是肆十二，这转眼间寒假就要过完了，相信大家的毕设也要准备动手了吧，作为一名大作业区的UP主，也该蹭波热度了，之前关于图像分类和目标检测我们都出了相应的教程，所以这期内容我们搞波新的，我们用Unet来做...
基于深度学习的文本框检测
weixin_42605076的博客
07-01 659
基于深度学习的文本框检测（Text Box Detection）是一项重要的计算机视觉任务，旨在从图像中自动检测和定位文本区域。它在光学字符识别（OCR）、自动文档处理、交通标志识别等领域具有广泛的应用。
由浅入深，走进深度学习（补充篇：神经网络基础）
weixin_45325693的博客
06-25 376
这里涉及使用torch保存和读取文件，然后就是在以后我们设计模型，训练的时候，我们可以通过这种方式，保存我们的模型，然后再最后测试的时候在调用模型！不说废话了，大家喜欢就往下看看，也是我自己的一些总结，方便以后自己看~在编程实战中，基础是最重要的，所以为了巩固基础，哈哈哈~上述内容参考b站up主“我是土堆”的视频，参考。，机器学习内容，参考李沐动手学深度学习！我觉得还是动手敲一遍，会有不一样的感受~在这部分，构造的时候：由。
基于Pytorch框架构建ResNet模型
2301_78972534的博客
06-24 1246
定义了一个自定义的ResNet-50模型，这是一个在图像识别任务中广泛使用的卷积神经网络（CNN）架构。代码中使用了一些简写，比如c_block和i_block，这些应该是在代码的其他部分定义的类，分别代表ResNet中的convolution block（卷积块）和identity block（恒等块）。
基于CNN的股票预测方法【卷积神经网络】
v20000727的博客
07-01 907
本文探讨了利用卷积神经网络（CNN）进行股票预测的建模方法，并详细介绍了模型的搭建、参数选择以及数据处理方法。
（论文版）深度学习 | 基于 VGG16-UNet 语义分割模型的猫狗图像提取研究
最新发布
ttrr27的博客
07-02 853
Hi，大家好，我是半亩花海。本实验本项目基于 VGG16-UNet 架构，利用 Labelme 标注数据和迁移学习，构建高效准确的猫狗图像分割模型。通过编码器-解码器结构（特征提取-上采样）提升分割精度，适应不同场景，推动图像分割技术发展。
【深度学习】图形模型基础(1):使用潜在变量模型进行数据分析的box循环
MUKAMO的博客
06-28 1678
本文详细介绍了概率模型在数据分析中的应用，特别是潜在变量模型的重要性和构建方法。文中探讨了如何使用均场变分推断对复杂模型进行后验分布的近似推断，并强调了模型批评在迭代模型构建过程中的关键作用。此外，还讨论了模型评估的策略，包括预测样本重用和后验预测检验。最后，文章总结了Box循环在概率建模中的核心地位，以及面对新数据和问题时不断改进模型的必要性。
[深度学习] 卷积神经网络CNN
藓类少女的博客
06-25 1123
卷积神经网络（Convolutional Neural Network, CNN）是一种专门用于处理数据具有类似网格结构的神经网络，最常用于图像数据处理。
基于深度学习的图像背景剔除
新缸中之脑
07-01 1027
在过去几年的机器学习领域，我一直想打造真正的机器学习产品。几个月前，在参加了精彩的 Fast.AI 深度学习课程后，似乎一切皆有可能，我有机会：深度学习技术的进步使许多以前不可能实现的事情成为可能，而且开发了新工具，使部署过程比以往任何时候都更容易。在上述课程中，我遇到了经验丰富的 Web 开发人员 Alon Burg，我们合作追求这一目标。我们最初的想法是承担一些医疗项目，因为这个领域与我们息息相关，我们觉得（现在仍然觉得）在医疗领域，深度学习有大量唾手可得的成果。
基于transformer unet设计模型？
03-09
可以回答这个问题。基于transformer unet设计模型是一种结合了transformer和unet的深度学习模型，可以用于图像分割任务。它利用transformer的自注意力机制来提取图像中的全局特征，同时利用unet的编码器-解码器结构来进行局部特征提取和重建。这种模型在一些图像分割任务中表现出了很好的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值