【ICLR 2024】解读MotionDirector：双路径LoRAs架构解耦外观和运动

最新推荐文章于 2024-09-12 09:39:47 发布
最新推荐文章于 2024-09-12 09:39:47 发布
阅读量204 收藏 3
点赞数 2
分类专栏： Diffusion Models与深度学习 文章标签： 扩散模型 stable diffusion 视频生成 视频编辑
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/134359081
版权
本文解读ICLR 2024论文《MotionDirector》中的双路径LoRAs架构，该架构用于视频生成和编辑，通过空间LoRA和时间LoRA分别处理外观和运动，实现运动定制任务。论文提出了外观去偏时间损失以减轻外观对时间训练目标的影响，实验表明MotionDirector能有效解耦外观和运动。
摘要由CSDN通过智能技术生成

Diffusion Models专栏文章汇总：入门与实战

前言：在stable video diffusion论文中提起过Motion LoRA控制镜头的移动，其实这个Idea在ICLR 2024的论文《MotionDirector: Motion Customization of Text-to-Video Diffusion Models》当中就有被提出。这篇博客就和读者一起解读这篇论文。

目录

贡献概述

方法详解

空间LoRA

时间LoRA

论文和代码

个人感悟

贡献概述

MotionDirector 采用双路径架构，即空间路径和时间路径。空间路径由一个基础模型组成，该模型具有可训练的空间 LoRA 注入其空间变换器层

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沉迷单车的追风少年
关注
专栏目录
订阅专栏
ICLR2021-Stats:ICLR 2021统计和图表
05-27
ICLR 2021统计和图表 用法 运行以下结果的ipython笔记本iclr2021_stats.ipynb 。 或者，在各自的csv文件中使用作者和隶属关系数据。 我还包括了一个直接脚本，用于使用简单的Selenium和漂亮的汤方法在scrape_...
基于ComfyUI的AnimateDiff的使用总结
金闪闪_Li的博客
10-30 5794
AnimateDiff是一个可以对文生图模型进行动画处理的实用框架。框架的核心是将新初始化的运动模块插入到冻结的文生图模型中，从而产生多样化和个性化的动画图像。简单的说，AnimateDiff是一个可以从文本到动画的框架
Stable Diffusion 插件AnimateDiff
月流霜的专栏
05-12 88
该插件主要用来制作动图，并不能用来生成比较长的视频，我体验着和pika差不多，效果上照着商用还有不小的距离。在githup的网址中有论文地址和许多示例。作者还提出了MotionLoRA，以前的lora大都是画风方面的，MotionLoRA是动作类型的，作者发布了几个镜头方向变化的模型，比如内容左移。论文中介绍的主要包含3部分，其中motion module是针对动作的，从效果上看动作确实能控制，但是前后帧的内容上总不太对应，作者的demo中，人物的衣服和饰品都发生变化。
Stable Video Diffusion: Scaling Latent Video Diffusion Models to large Data. SVD论文解读
qq_45670134的博客
11-27 964
之前普遍用的是方法是：2D 图像上去训练文生图模型，然后插入时间序列层，在小的高质量的视频数据集上进行微调。但是存在的问题：1）使用小视频数据集是不符合目前大数据的趋势的。2）目前的视频数据集缺少一个统一的有效的策略去管理。作者本文针对这个问题提出一套比较流程化的有效的视频数据治理的手段。作者提出了一个三步走的步骤：1）text-to-image pretraining 文生图预训练：实际上就是指我们目前已有的文生图的 stable diffusion base model。
ICLR2019-OpenReviewData:从ICLR OpenReview网页抓取元数据的脚本。 在Ubuntu上安装和使用Selenium和ChromeDriver的教程
04-14
此Jupyter笔记本包含ICLR 2019 OpenReview网页爬网的数据和可视化内容。 所有已抓取的数据（按平均评分排序）都可以在找到。 接受的论文对被拒绝的论文的平均评分为6.611和4.716。 分布绘制如下。 先决条件 Python...
Learning-From-Rules:在ICLR2020（https：
05-07
从规则化标签示例中学习（ICLR 2020） 该存储库在我们的提供了实验的实现 @inproceedings{ Awasthi2020Learning, title={Learning from Rules Generalizing Labeled Exemplars}, author={Abhijeet Awasthi and ...
ICLR2024录用论文
03-04
### ICLR2024 录用论文概览与核心知识点解析 #### 一、Retrieval is Accurate Generation **知识点概述：** 本篇研究关注于如何通过准确的生成模型来实现有效的检索任务。该研究提出了一个新颖的方法，旨在提高...
Python_LongLoRA和LongAlpaca ICLR 2024口头代码和文件.zip
05-24
Python_LongLoRA和LongAlpaca是两个在ICLR（国际计算语言学会年会）2024年的口头报告中提出的先进深度学习模型。ICLR是机器学习领域中备受瞩目的会议，尤其在自然语言处理（NLP）和深度学习算法方面。这次提交的代码...
基于 ROS 的Terraform托管服务轻松部署Stable Diffusion
AliCloudROS的博客
09-12 839
Stable Diffusion是文本到图像的生成模型，ROS服务借助 Infrastructure as Code 理念，通过Terraform模板实现该模型在阿里云的快速自动化部署，提升效率与稳定性，简化云资源及应用部署流程。
利用Stable Diffusion AI图像模型评估智能车模型算法表现(下篇)
m0_66628975的博客
09-07 2742
Amazon SageMaker 是亚马逊云科技提供的一项全托管机器学习服务，帮助开发者和数据科学家轻松构建、训练和部署机器学习模型。SageMaker 提供了全套的工具和基础设施支持，用户无需管理底层的服务器和环境，即可快速处理从数据准备到模型训练再到部署的完整机器学习流程。SageMaker 提供了灵活的开发环境，支持多种常用的机器学习框架，如 TensorFlow、PyTorch 等，同时也支持用户自定义的算法和模型。
Stable Diffusion绘画 | ControlNet应用-Inpaint(局部重绘)：更完美的重绘
Leo-Fighting的博客
09-06 643
Inpaint(局部重绘) 相当于，不但可以进行局部画面的修改，还可以去除背景中多余的内容，或者是四周画面内容的扩充。
Stable diffusion生图原理
落霞与孤鹜齐飞，秋水共长天一色。
09-06 1070
最详细的Stable diffusion原理，sd工作原理，参考文章https://stable-diffusion-art.com/how-stable-diffusion-work/
JAVA+access综合测评系统毕业设计(源代码+论文+开题报告+任务书).zip
09-12
1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。
33企业财务风险分析及防范——以永辉超市股份有限公司为例.docx
09-12
33企业财务风险分析及防范——以永辉超市股份有限公司为例
JAVA物业管理系统设计与实现(论文+源代码).zip
09-12
1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。1、资源项目源码均已通过严格测试验证，保证能够正常运行； 2、项目问题、技术讨论，可以给博主私信或留言，博主看到后会第一时间与您进行沟通； 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用，尤其对于人工智能、计算机科学与技术等相关专业，更为适合； 4、下载使用后，可先查看README.md文件（如有），本项目仅用作交流学习参考，请切勿用于商业用途。
基于springboot的车辆充电桩管理系统设计与实现.docx
09-12
基于springboot的车辆充电桩管理系统设计与实现.docx
weixin196运动健康小程序SpringBoot.rar
最新发布
09-12
所有源码都可以运行成功
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值