Stable Video Diffusion图片转视频——Stability AI开源视频模型

我们前期介绍过Stable Diffusion，stable diffusion模型是Stability AI开源的一个text-to-image的扩散模型，其模型在速度与质量上面有了质的突破，玩家们可以在自己消费级GPU上面来运行此模型。

文生图大模型已经火了很长一段时间了，但是随着需求的不断增加，对文生视频的需求也越来越高，上期介绍的字节发布的MagicVideo2，可以进行文本到视频的生成，只是由于没有开源代码或者线上链接进行试玩。而Stable Video Diffusion是Stability AI开源的视频生成模型，可以进行试玩。

Stable Video Diffusion，顾名思义便是视频生成模型，这里的Stable Video Diffusion是图片转视频模型，是Stability AI社区开源的一个文本或图片转视频模型。

Stable Video Diffusion模型支持输入一张图片，然后生成3-30帧/s 的视频，生成的视频长度在2-5s之间。其模型生成的视频质量还是相当的高的。模型有2种尺寸：

SVD：该模型经过训练，可以在给定的图片上，生成14帧/s的，分辨率为576*1024的视频

SVD-XL：该模型跟SVD采用了同样的模型结构，只是在模型训练后，可以生成25/s 的视频

该模型采用了文本到图片预训练，视频预训练以及高质量视频微调三个步骤打造了Stable Video Diffusion模型，其代码已经在GitHub上开源，可以在本地或者云端部署。

动画详解transformer  

https://stability.ai/stable-video
https://github.com/Stability-AI/generative-models/tree/main
更多transformer，VIT，swin tranformer
参考头条号：人工智能研究所
v号：启示AI科技
微信中复制如下链接，打开，免费体验chatgpt
 
https://wx2.expostar.cn/qz/pages/manor/index?id=1137&share_from_id=79482&sid=24