SimDA: Simple Diffusion Adapter for Efficient Video Generation学习笔记

已于 2023-08-30 19:15:00 修改
阅读量498 收藏
点赞数
文章标签： 深度学习
于 2023-08-30 18:16:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kangxi11122344/article/details/132570176
版权
本文介绍了一种新的视频生成方法，通过空间和时间适配器，特别是Latent-ShiftAttention，以降低计算成本并提升生成质量。实验对比了其优势和效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

SimDA: Simple Diffusion Adapter for Efficient Video Generation学习笔记


在这里插入图片描述

motivation： 现有的T2V模型要么从头开始训练，或将大型T2I模型适应视频，需要大量计算资源和数据
contribution： 设计轻量级spatial and temporal adapters（空间和时间适配器）进行迁移学习；将原始spatial attention（空间注意力）更改为所提出的 Latent-Shift Attention (LSA)，以实现时间一致性。

method

在这里插入图片描述提出三个模块：Spatial Adapter、Temporal Adapter、Latent-Shift Attention
Spatial Adapter：利用视频生成领域的空间信息，分为Attention Adapter 和 FFN Adapter，结构：两个全连接层中间一个激活层
Temporal Adapter：建模时间信息
以前的方法结合了时间卷积或temporal attention modules（时间注意模块）来捕获时间关系。具有大量参数和高维输入特征，导致计算量和训练成本显着。
时间适配器模块采用深度卷积而不是中间激活层
Latent-Shift Attention：实现时间一致性
除了考虑当前帧中的标记外，我们进一步沿时间维度进行补丁级移位操作，以将标记从前面的 T 帧转移到当前帧上，从而组成一个新的潜在特征帧
在这里插入图片描述
Q = W q ( x z i ) , (6) K = W k [ x z i , x z s h i f t ] , ( 7 ) V = W v [ x z i , x z s h i f t ] , ( 8 ) \begin{aligned} &\mathbf{Q}=\mathbf{W}_{\mathrm{q}}(x_{z_{i}}),&& \text{(6)} \\ &\mathbf{K}=\mathbf{W}_{\mathrm{k}}[x_{z_{i}},x_{z_{shift}}],&& \left(7\right) \\ &\mathbf{V}=\mathbf{W}_{\mathrm{v}}[x_{z_{i}},x_{z_{shift}}],&& \left(8\right) \end{aligned} ​Q=Wq​(xzi​​),K=Wk​[xzi​​,xzshift​​],V=Wv​[xzi​​,xzshift​​],​​(6)(7)(8)​

experinment

与其他方法的比较

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Ablation study

temporal adapter
在这里插入图片描述
依赖temporal attention modeling（时间注意建模）的方法(如Tune-A-Video[100])相比，temporal adapter（时间适配器）更轻量级，并获得了更好的编辑结果
在这里插入图片描述
TA：Temporal Adapter
SA：Spatial Adapter
AA：Attention Adapter
FA：FFN Adapter
LSA：Latent-shift Attention

kangxi11122344
关注
[晓理紫]每日论文推送(有中文摘要，源码或项目地址)--大模型相关、扩散模型、视觉导航
勿忘初心,方得始终
01-14 1725
在机器学习（ML）中，一句流传甚广的格言是，对于具有类不平衡的二进制分类任务，精度-召回曲线下的面积（AUPRC）是与接收器操作特性下的面积相比的模型比较的更好的度量。本文通过新颖的数学分析对这一概念提出了质疑，说明AUROC和AUPRC可以用概率术语简明地联系起来。我们证明，与普遍认为的相反，AUPRC在阶级失衡的情况下并不优越，甚至可能是一个有害的指标，因为它倾向于过度倾向于在具有更频繁阳性标签的亚群体中改进模型。这种偏见可能会无意中加剧算法差异。
Latte:Latent diffusion transformer for video generation
liguandong
04-11 1436
假设有一个潜在空间中的video clip VL∈FxHxWxC，现将VL转成tokens，记Z'∈nf x nh x nw xd，F表示帧数，HWC表示潜在空间中视频帧的高宽通道数，video clip在潜在空间中的token总数是nf x nh x nw，d表示每个token的维度，将spatial-temporal positional embedding p添加在Z'中，得到Z=Z'+p，作为transformer backbone的输入。2.扩散过程在视频的潜在空间中进行，以建模潜在的时空信息。
Tiny-Attention Adapter: Contexts Are More Important Than the Number of Parameters
qq_43800752的博客
08-21 201
Adapter-tuning是一种范式，通过添加和调整少量新参数，将预训练语言模型转移到下游任务。先前提出的Adapter架构都是前馈神经网络。在本文中，我们研究了使用微小注意力——即具有极小每头维度的注意力作为适配器的效果。我们的微小注意力Adapter学会直接修改每个位置的隐藏状态，其条件是所有其他位置的隐藏状态，这是先前提出的Adapter所未考虑的。此外，我们将其多个注意力头视为专家的混合，并提议在部署期间平均它们的权重，从而进一步减少推断计算成本。
Stable Diffusion基础：ControlNet之图像提示（垫图）
程序员，AI探索者
09-18 1601
本文给大家分享 Stable Diffusion 的基础能力：ControlNet 之图片提示。这篇故事的主角是 IP-Adapter，它的全称是 Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models，翻译成中文就是：用于文本到图像扩散模型的文本兼容图像提示适配器，名字很长很拗口，我们只要记住四个字就行了：图像提示，如果还觉得长，那就两个字：垫图。记不住也没关系，下面我会带大家一步步体会它的图片生成能力。
Diffusers代码学习: 多个Adapter
duhaining1976的博客
06-09 808
AIGC研究及应用系列
大模型时代如何寻找研究方向
interestingzhou的博客
04-09 632
如何在大模型时代寻找自己的研究方向，Zhu Yi大佬的视频讲解
Stable Diffusion里的IP-Adapter， 图片风格迁移原来是这样用的。
阿道夫的博客
07-10 1364
IP-Adapter不仅仅可以用在照片上，还可以用在平面设计、室内设计、服装设计等等，来帮助我们实现更加多样化的创意，可以用到它的地方很多，至于还可以用到什么地方，这需要我们不断的尝试和探索，一旦掌握得当，它可以很好的提高我们的工作效率，并为我们带来无限的可能性。当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。我们可以看到，原图的风格、色调、服装等等很好的迁移到了另一张图上。
Latte: Latent Diffusion Transformer for Video Generation
weixin_41905577的博客
07-15 1165
Latte首先从输入的视频提取时空token，然后采取一系列Transformer Block在隐空间建模视频的分布。为了建模从视频中提取的大量token，从解耦输入视频的空间和时间维度的角度出发设计了四个高效变体。为了提高生成视频的质量，我们安排了最佳的Latte测试，通过严格的实验分析，包含视频裁剪 patch embedding，模型变体， timestep-class信息注入，时空位置embedding，和学习策略。
论文学习——VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation
胖虎的博客
03-26 1154
文本-视频生成
详细解读 CVPR2024：VideoBooth: Diffusion-based Video Generation with Image Prompts
沉迷单车的追风少年
10-23 1218
文本驱动的视频生成正在迅速取得进展。然而，仅仅使用文本提示并不足以准确反映用户意图，特别是对于定制内容的创建。个性化图片领域已经非常成功了，但是在视频个性化领域才刚刚起步，这篇博客讲解CVPR2024一篇经典的论文《VideoBooth: Diffusion-based Video Generation with Image Prompts》。
Multi Diffusion: Fusing Diffusion Paths for Controlled Image Generation——【论文笔记】
qq_45791526的博客
01-01 1900
Multi Diffusion: Fusing Diffusion Paths for Controlled Image Generation——【论文笔记】
（Stable Diffusion）超好用“垫图”神器：IP-Adapter！确定不来领一个？
二狗的博客
07-31 1319
Lora无需训练，仅需一张图像即可实现风格转换。它不仅支持从多张图像中提取多种特征，还具备强大的扩展功能，能够集成动态提示矩阵、ControlNet等技术。这就是IP-Adapter的独特之处，它代表了一种创新的“垫图”技术，使您的AI生成内容（AIGC）之旅变得更加高效而轻松。“垫图”神器展示大家对“垫图”这个词儿应该不陌生吧？以前，当我们想要创造一幅心目中的画面，却又难以用prompt精确描述时，最直接的方法就是找一张类似的图片，然后启动img2img流程，一气呵成！
【笔记】大模型时代下做科研的四个思路 - 论文精读·52
elephant_my的博客
09-09 947
1、Efficient(PEFT) 提升训练效率，这里以PEFT(parameter efficient fine tuning)为例 2、Existing stuff(pretrained model)、New directions 使用别人的预训练模型，新的研究方向 3、plug-and-play 做一些即插即用的模块，例如模型的模块、目标函数、新损失函数、数据增强方法等等。 4、Dataset,evaluation and survey 构建数据集、发表分析为主的文章或者综述论文 作者
《Video Mamba Suite》论文笔记（3）Mamba作为时序适配器的作用
Zssss12的博客
05-06 1530
这确保了新模型的输出与原始模型的输出相匹配。值得注意的是，标准的ViM块比自我注意力模块(4C^2)具有更多的参数(略多于6.25C^2)，其中C指的是特征维度。值得注意的是，与时间自注意力块相比，我们使用的 VIM 时间块的参数更少，突出了 Mamba 选择性扫描 [30] 的特殊参数利用率和信息提取能力。令人惊讶的是，我们观察到时空 ViM 块虽然在时空级别引入了全局建模，但实际上会导致性能下降（ID7 vs ID8)我们假设基于扫描的时空可能会损害预先训练的空间注意块产生的空间特征分布。
深度学习四大核心架构：神经网络（NN）、卷积神经网络（CNN）、循环神经网络（RNN）与Transformer全概述
gorgor在码农
03-26 1629
NN → 类比：盲人摸象，每个神经元独立感知全局特征 → 局限：输入图像需展平为向量，丢失空间信息（如将28x28图片变成784维向量）CNN → 类比：人类视觉系统，先识别边缘→形状→物体 → 实战：用3x3卷积核扫描猫的图片，提取耳朵、胡须等局部特征RNN → 类比：阅读理解，需记住前文才能理解后文 → 痛点：输入句子“The cat sat on the mat”，到第6个单词时可能已遗忘“cat”Transformer → 类比：团队协作，每个单词直接关注全局上下文 → 优势：处理句
深度学习Y3周：yolov5s.yaml文件解读
最新发布
Radiantsss的博客
04-04 487
学习了YOLOv5s.yaml文件，掌握了每个部分的内容，理解了每一块代码的意义。
深度学习处理文本（9）
yyc的博客
04-03 1064
比如在机器翻译中，查询是目标序列，键和值则都是源序列：对于目标序列中的每个元素（如“tiempo”​）​，你都希望回到源序列（​“How’s the weather today?当然，如果你只做序列分类，那么查询、键和值这三者是相同的：将一个序列与自身进行对比，用整个序列的上下文来丰富每个词元的表示。​“多头”是指：自注意力层的输出空间被分解为一组独立的子空间，对这些子空间分别进行学习，也就是说，初始的查询、键和值分别通过3组独立的密集投影，生成3个独立的向量。搜索引擎会将你的查询和数据库中的键进行对比。
深度学习-152-综述之大模型蒸馏技术的简介
qq_20466211的博客
03-31 51
知识蒸馏(Knowledge Distillation，简称KD)是由AI领域的三位大佬Geoffrey Hinton、Oriol Vinyals和Jeff Dean在2015年提出的技术，旨在通过将复杂教师模型的知识迁移到较简单的学生模型中，使学生模型在保持高性能的同时，能够实现更小的模型规模和更快的推理速度。
使用卷积神经网络识别MNIST数据集
m0_49586319的博客
03-31 355
Pytorch构建CNN模型，识别MNIST数据集
Scene Diffusion: Continuous Scenario Generation for LiDAR Simulation 论文pdf
03-29
### 关于Scene Diffusion连续场景生成用于LiDAR模拟的研究 目前，关于 **Scene Diffusion Continuous Scenario Generation for LiDAR Simulation** 的具体研究尚未广泛公开提及。然而，可以推测该主题可能涉及扩散模型（Diffusion Models）在激光雷达（LiDAR）数据生成中的应用。这种技术的核心在于通过生成对抗网络（GAN）、变分自编码器（VAE）或者更先进的扩散模型来合成逼真的三维点云数据。 #### 扩散模型简介 扩散模型是一种基于马尔可夫链的概率生成模型，其核心思想是通过对噪声逐步去噪的过程重建目标分布的数据[^4]。这类模型已经在图像生成领域取得了显著成果，并逐渐扩展到其他模态的数据生成任务中，例如音频、视频甚至三维点云。 #### 应用背景 激光雷达传感器作为自动驾驶汽车的重要组成部分之一，能够提供高精度的环境几何信息。然而，实际采集的真实世界LiDAR数据往往受到天气条件、光照变化等因素的影响，从而增加了算法开发和验证的成本。因此，利用仿真工具生成多样化的LiDAR扫描数据成为一种有效的替代方案。 #### 技术实现思路 以下是构建此类系统的潜在技术路径： 1. 数据预处理阶段：收集大量真实世界的LiDAR测量值并将其转换成统一格式供后续训练使用； 2. 模型架构设计方面可以选择引入U-Net风格的encoder-decoder结构配合注意力机制增强局部细节表现力；同时结合时间步嵌入向量调节不同演化阶段特性表达能力。 3. 训练过程中采用均方误差损失函数衡量预测结果与原始输入之间的差异程度，并辅以额外正则项约束促进泛化性能提升。 ```python import torch.nn as nn class UNetBlock(nn.Module): def __init__(self, in_channels, out_channels): super().__init__() self.conv = nn.Sequential( nn.Conv2d(in_channels, out_channels, kernel_size=3, padding='same'), nn.ReLU(), nn.BatchNorm2d(out_channels), nn.Conv2d(out_channels, out_channels, kernel_size=3, padding='same'), nn.ReLU(), nn.BatchNorm2d(out_channels) ) def forward(self, x): return self.conv(x) def unet_model(): model = nn.Sequential( UNetBlock(64, 128), # Example layer definition ... ) return model ``` 尽管上述描述提供了理论框架指导，但针对特定应用场景优化调整参数设置仍需深入探索实践检验效果如何达到最佳平衡状态。 ### 下载资源建议 如果正在寻找与此相关的学术文章全文链接下载方式，推荐访问以下几个知名开源平台尝试检索获取： - arXiv.org: https://arxiv.org/ - ResearchGate.net: https://www.researchgate.net/ - Google Scholar: https://scholar.google.com/ 另外值得注意的是部分高质量期刊会议论文可能会有订阅权限限制情况存在，在这种情形下考虑联系作者请求副本或许不失为一条可行途径。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值