Diffusers代码学习：SVD微调

除了调节图像外，SVD还接受微调，这允许对生成的视频进行更多控制：

fps：生成的视频的每秒帧数。

motion_bucket_id：用于生成的视频的motion_bucket_id。这可以用于控制生成的视频的运动。增加motion_bucket_id会增加生成的视频的运动效果。

noise_aug_strength：添加到调节图像的噪声量。值越高，视频与调节图像的相似性就越低。增加该值还会增加生成的视频的运动效果。

例如，要生成具有更多运动的视频，请使用motion_bucket_id和noise_aug_strength微调节参数：

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
mport torch

from diffusers import StableVideoDiffusionPipeline
from diffusers.utils import load_image, export_to_video

pipe = StableVideoDiffusionPipeline.from_pretrained(
    "stabilityai/stable-video-diffusion-img2vid-xt", torch_dtype=torch.float16, variant="fp16"
)
pipe.enable_model_cpu_offload()

# Load the conditioning image
image = load_image(
    "https://hf-mirror.com/datasets/huggingface/documentation-images/resolve/main/diffusers/svd/rocket.png")
image = image.resize((1024, 576))

generator = torch.manual_seed(42)

frames = pipe(image, decode_chunk_size=8, generator=generator,

motion_bucket_id=180, noise_aug_strength=0.1).frames[0]

export_to_video(frames, "generated.mp4", fps=5)

Stable Video Diffusion优化结果演示