AnimateDiff

已于 2024-03-12 16:00:17 修改
阅读量96 收藏
点赞数
分类专栏： 鼠鼠的AI笔记 文章标签： transformer 深度学习 人工智能
于 2024-03-12 12:26:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013302570/article/details/136645345
版权
AnimateDiff结合Domain Adapter (LORA)和Motion Prior (ControlNet-like)实现模拟运动，旨在统一各种场景的视频生成。Domain Adapter仅在训练阶段使用，而Motion Prior通过Network Inflation和Module Design学习运动迁移。尽管与最新版Sora相比稍逊一筹，但能生成长视频，展现优秀的时间连贯性。
摘要由CSDN通过智能技术生成

Paper 2024 版本

亮点

  • 主要是靠3个完成模拟运动：

    • domain adapter
    • motion prior
    • motion module LORA
      图里不同颜色，分别代表以上加入的buff
      在这里插入图片描述

  • 这样的一个motion module “insert”的套路 就很LORA

  • 有个宏伟的目标，一统各种domain，而且也实现了。也就是说，一个module可以被用在任何主题场景

在这里插入图片描述

基础

Just in case, 我有时候会混淆forward 和 reverse里，哪个时间点的该作为condition：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
EmoC001
关注
专栏目录
订阅专栏
AnimateDiff motion lora and image2video
liguandong
08-21 61
运动定制：在推理阶段，将训练好的时序lora注入到预训练的视频扩散模型中，能从训练数据中学习到多样化运动的视频，如果训练数据是单个视频，学习到的运动将是特定运动，例如对象先向前运动，然后再左转，如果是一组视频，学习到的运动将是由他们提供的运动概念，比如举重或者高尔夫球。comfyui-animatediff中包括了基础的几个workflow，animatediff是文生视频的，不包括图生视频的链路，有controlnet链路来做可控。本篇文章的内容主要翻译自 AnimateDiff 的github项目。
stable diffusion的AnimateDiff动画插件
最新发布
qq_34766156的博客
09-07 1086
Prompt Travelling” 是一种技术，用于在创建最终的 GIF 或视频时，精确调整正面提示（positive prompt），以精确控制特定时间帧内的具体细节。当与 AnimateDiff 和 Stable Diffusion 结合时，Prompt Travelling 允许更大程度地影响 GIF 和视频的视觉美学，包括风格、背景、服装选择等元素​。
Stable Diffusion 插件AnimateDiff
Funnyman_Ming的博客
02-21 2074
AnimateDiff可以制作动图，以插件的方式集成到sd的webUI，本文介绍了AnimateDiff的安装与使用。
【ComfyUI】AnimateDiff基础教程和使用心得
2401_85116933的博客
08-06 1154
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
10倍加速，字节开源极快视频生成模型Animatediff-Lightning
程序员，AI探索者
05-06 975
Animatediff-Lightning 是一个跨模型扩散蒸馏模型，这里有两个关键词，特别介绍下；跨模型：指的是训练时使用多个不同的 Stable Diffusion 基础模型来进行训练，比如 DreamShaper、ToonYou等现实模型和动漫模型。使用这种方法训练出的模型可以搭配各种 Stable Diffusion 基础模型，都有比较好的视频生成效果，可以说拥有较强的泛化能力。
[ComfyUI]AnimateDiff基础教程和使用心得
2401_85688943的博客
07-23 1229
大家好我是极客菌！！！AnimateDiff是什么AnimateDiff 是一个能够将个性化的文本转换为图像的扩展模型，它可以在无需特定调整的情况下实现动画效果。通过这个项目，用户可以将他们的想象力以高质量图像的形式展现出来，同时以合理的成本实现这一目标。随着文本到图象模型(例如，Stable Diffusion)和相应的个性化技术(例如，LORA和DreamBooth) 的进步，现在每个人都可以将他们的想象力转化为高质量的图像。
Stable Diffusion——尝试如何正确的使用【AnimateDiff】生成动图——4种方法测试
红目香薰
12-03 2754
Stable Diffusion——尝试如何正确的使用【AnimateDiff】生成动图——4种方法测试
AnimateDiff论文解读
子燕若水的博客
08-20 450
运动模块 的输入和输出分别是什么？具体如何使用这个运动模块。
AIGC-视频生成-AnimateDiff-基于T2I模型的动态生成论文详细解读
hflexxx的博客！喜欢的话点个关注！
06-11 1494
AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning论文精度+原理阐述
ComfyUI+AnimateDiff+ControlNet的Tile生成动画.zip
05-04
这个名为"ComfyUI+AnimateDiff+ControlNet的Tile生成动画.zip"的压缩包文件，显然涉及到几个关键概念，包括ComfyUI、AnimateDiff和ControlNet，以及Tile生成动画。我们将逐一探讨这些概念。 首先，ComfyUI可能是指...
AIGC生成视频模型+ StreamingT2V兼容SVD和animatediff
04-16
除了其核心功能之外，StreamingT2V还具有高度的兼容性和扩展性，能够与现有的多种模型兼容，例如SVD（Singular Value Decomposition）和animatediff等。这意味着开发者可以在原有的基础上进行进一步的改进和发展，...
Python_AnimateDiff的官方实现.zip
05-24
Python_AnimateDiff是一个用于创建动画化差异展示的库，它能帮助用户动态地展示两个代码文件或文本文件之间的差异。这个官方实现提供了直观的方式去理解代码的修改过程，尤其是在进行版本控制或者代码审查时，这样的...
python 加速(1)
EmoC的博客
06-15 2525
因为要修改yolo系列里NMS处的计算，如果用python，速度巨慢。torchvision 有自己的加速后的NMS function。但是不和形变后的IOU通用。因此需要做一个类似的。回看torchvion, 发现里面有cpp的文件，因为之前没有接触过加速（资源比较丰富）。C++ 并不是加速NMS那步操作的解药，解药是CUDA kernel。因此，如果要加速任何的function在model里，CUDA kernel 是最终目的。自己之前误入歧途，以为C++就能加速一切。
Yolo v5 长方形 训练修改
EmoC的博客
04-25 1755
感谢，以下内容改自：http://t.csdn.cn/37m2w dataloaders.py # YOLOv5 🚀 by Ultralytics, GPL-3.0 license """ Dataloaders and dataset utils """ import contextlib import glob import hashlib import json import math import os import random import shutil import time from it
Whisper
EmoC的博客
11-30 1675
Whisper 代码详解
YOLO NAS note 1
EmoC的博客
05-18 1573
Yolo-Nas 的代码比YOLO v8 还恐怖。之前的YOLO数据可以通过：coco_detection_yolo_format_train， 和 coco_detection_yolo_format_val 自动转。
openCV的CUDA GPU 版本安装 （Ubuntu windows 通用）
EmoC的博客
10-22 1416
例子：/media/xxx/cozynest/anaconda3/envs/detection/lib/python3.9/site-packages/cv2/python-3.10。这里有可能会出现configure的文件找不到的错误，可以直接copy paste Python 版本的文件，根据缺失文件的名字添加。这样放的原因是我Ubuntu的Home容量不够多，导致我需要把这些东西放在另一个盘上，其次是这样安装比较干净。以下是Python3相关会填入的内容。2：下载后的两个包裹会放在以下结构。
Towards Robust Blind Face Restoration with Codebook Lookup Transformer
EmoC的博客
01-18 1017
这个projec相对codeformer已经是老一些的了，CodeFormer paper说自己的效果比这个更好。有看了这个视频，它借用了R-ESRGAN 4x 和 GFPGAN 50%，既保留了一些人物特征，又有了更好的效果。
animatediff
08-11
通过将运动模块插入到个性化模型中，AnimateDiff可以生成具有自然、适当运动的动画图像，同时忠实于相应的领域。它已经在多种个性化文本到图像模型上进行了广泛评估，并证明了其有效性和通用性。AnimateDiff为个性化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值