Stable Diffusion 插件AnimateDiff

wangzha_m

已于 2024-02-21 20:29:24 修改

阅读量3.6k

点赞数 27

分类专栏： Stable Diffusion应用文章标签： stable diffusion

于 2024-02-21 11:16:52 首次发布

本文链接：https://blog.csdn.net/Funnyman_Ming/article/details/136194394

版权

AnimateDiff简介

该插件主要用来制作动图，并不能用来生成比较长的视频，我体验着和pika差不多，效果上照着商用还有不小的距离。在githup的网址中有论文地址和许多示例。
githup：GitHub - guoyww/AnimateDiff: Official implementation of AnimateDiff.
作者还提出了MotionLoRA，以前的lora大都是画风方面的，MotionLoRA是动作类型的，作者发布了几个镜头方向变化的模型，比如内容左移。

论文中介绍的主要包含3部分，其中motion module是针对动作的，从效果上看动作确实能控制，但是前后帧的内容上总不太对应，作者的demo中，人物的衣服和饰品都发生变化。归根结底，一帧一帧的做视频还是不行，期待sora的开放。