【Datawhale组队学习：Sora原理与技术实战】使用LaVie创建一段小视频

使用LaVie创建一段小视频

LaVie介绍

LaVie是一个高质量视频生成项目，使用级联潜在扩散模型。这个项目是由Vchitect开发的官方PyTorch实现。LaVie是一个文本到视频(T2V)生成框架，是视频生成系统Vchitect的主要部分。它还包括一个针对图像到视频(I2V)模型
SEINE的微调版本。

LaVie代码仓

代码仓地址：https://github.com/Vchitect/LaVie

LaVie产品功能

1. 高质量视频生成:利用级联潜在扩散模型，从文本描述生成高质量的视频内容
2. 文本到视频(T2V)转换:将文本描述转换成视频，适用于各种场景和主题。
3. 图像到视频(I2V)转换:通过微调模型SEINE，将静态图像转换成动态视频。
4. 视频插值: 在视频的基础帧之间进行插值，以增加视频的平滑性和长度。
5. 视频超分辨率: 提高视频的分辨率和清晰度，支持高达1280x2048的分辨率输出。
6. 灵活的配置选项: 用户可以根据需要在配置文件中自定义视频的参数，如分辨率、长度和风格
7. 多样化的应用场景: 支持创造多种风格和主题的视频，适用于艺术创作、娱乐、教育等多个领域

LaVie安装使用

创建conda环境

conda create -n lavie_lab python=3.11

激活环境

conda activate lavie_lab

下载代码仓

git clone https://github.com/Vchitect/LaVie

安装torch

pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2

安装依赖

pip install accelerate==0.19.0
pip install av==10.0.0
pip install decord==0.6.0
pip install diffusers[torch]==0.16.0
pip install einops==0.6.1
pip install ffmpeg==1.4
pip install imageio==2.31.1
pip install imageio-ffmpeg==0.4.9
pip install pandas==2.0.1
pip install timm==0.6.13
pip install tqdm==4.65.0
pip install transformers==4.28.1
pip install xformers==0.0.20
pip install omegaconf==2.3.0
pip install natsort==8.4.0
pip install rotary_embedding_torch

设置hf-mirror

export HF_ENDPOINT="https://hf-mirror.com"

下载模型到代码仓models目录下

huggingface-cli download --resume-download --local-dir-use-symlinks False YaohuiW/LaVie --local-dir /root/datawhale/LaVie/pretrained_models

huggingface-cli download --resume-download --local-dir-use-symlinks False CompVis/stable-diffusion-v1-4 --local-dir /root/datawhale/LaVie/pretrained_models/stable-diffusion-v1-4

huggingface-cli download --resume-download --local-dir-use-symlinks False stabilityai/stable-diffusion-x4-upscaler --local-dir /root/datawhale/LaVie/pretrained_models/stable-diffusion-x4-upscaler

编辑base/pipelines/sample.py --config configs/sample.yaml

ckpt_path: "../pretrained_models/lavie_base.pt" #模型地址
output_folder: "../res/base/"  #输出目录
pretrained_path: "../pretrained_models" #训练模型目录

prompt相关

text_prompt: [
              'a teddy bear walking on the street, 2k, high quality',
              'a panda taking a selfie, 2k, high quality',
              'a polar bear playing drum kit in NYC Times Square, 4k, high resolution',
              'jungle river at sunset, ultra quality',
              'a shark swimming in clear Carribean ocean, 2k, high quality',
              'a Corgi walking in the park at sunrise, oil painting style'
       ] 

运行

python pipelines/sample.py --config configs/sample.yaml

Video Interpolation运行

cd ../interpolation
python sample.py --config configs/sample.yaml

Video Super-Resolution运行

cd ../vsr
python sample.py --config configs/sample.yaml

生成示例：

【一段LaVie生成的小视频】一个骑自行车的小女孩

参考资料

LaVie官网：https://vchitect.intern-ai.org.cn/
LaVie：上海人工智能实验室开源的视频生成模型https://www.aihub.cn/tools/llm/lavie/