FreeNoise-AnimateDiff 开源项目教程

FreeNoise-AnimateDiff 开源项目教程

FreeNoise-AnimateDiff[ICLR 2024] Code for FreeNoise based on AnimateDiff项目地址:https://gitcode.com/gh_mirrors/fr/FreeNoise-AnimateDiff

项目介绍

FreeNoise-AnimateDiff 是一个开源项目，旨在通过噪声重调度实现无需调优的更长视频扩散。该项目由 Haonan Qiu、Menghan Xia、Yong Zhang、Yingqing He、Xintao Wang、Ying Shan 和 Ziwei Liu 等人开发。FreeNoise 支持高达 512 帧的视频生成，且在不超过 20% 的额外时间内完成。此外，FreeNoise 还可以与 AnimateDiff 和 LaVie 等其他视频 LDM 框架结合使用。

项目快速启动

环境设置

首先，克隆项目仓库并设置环境：

git clone https://github.com/arthur-qiu/FreeNoise-AnimateDiff.git
cd FreeNoise-AnimateDiff
pip install -r requirements.txt

运行示例

以下是一个简单的运行示例：

python train.py --config configs/default.yaml

应用案例和最佳实践

案例一：生成动画视频

使用 FreeNoise-AnimateDiff 生成一个动画视频，无需特定调优：

python scripts/animate.py --prompt "A chihuahua in astronaut suit floating in space"

案例二：多提示视频生成

结合多个提示生成视频：

python scripts/animate.py --prompt "A dark knight riding a black horse on the grassland in sunset" --prompt "A corgi is swimming quickly"

典型生态项目

AnimateDiff

AnimateDiff 是一个与 FreeNoise 兼容的视频 LDM 框架，可以生成个性化的文本到图像扩散模型动画，无需特定调优。

LaVie

LaVie 是另一个与 FreeNoise 兼容的视频 LDM 框架，提供了更多的视频生成功能和选项。

通过结合这些生态项目，FreeNoise-AnimateDiff 可以进一步扩展其功能和应用范围。

FreeNoise-AnimateDiff[ICLR 2024] Code for FreeNoise based on AnimateDiff项目地址:https://gitcode.com/gh_mirrors/fr/FreeNoise-AnimateDiff