MotionDiffuse: Text-Driven Human Motion Generation withDiffusion Model # 论文阅读

最新推荐文章于 2024-07-08 18:48:12 发布
最新推荐文章于 2024-07-08 18:48:12 发布
阅读量515 收藏 1
点赞数 4
文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29679623/article/details/138635090
版权

URL

https://arxiv.org/pdf/2208.15001

主页：https://mingyuan-zhang.github.io/projects/MotionDiffuse.html

TD;DR

22 年 8 月商汤的文章，引用量 200+。基于 SD，任务是输入文本的动作描述，生成对应的动作序列。

已有的 motion 生成方法的输入 condition 可以分为 3 类，包括预设好的 pose 序列类别、音乐、自然语言，本文主要关注的是自然语言生成的方式。用语言生成的方法大多只能支持少量词语的短句生成，或者只能生成简单的 pose
在这里插入图片描述

Model & Method

因为是 22 年的文章，当时还有 motion module 这个东西，所以本文生成连续帧的方式是吧时间信息 t 通过 positional embedding 的方式注入到训练过程中，生成的动作序列长度是固定的。
在这里插入图片描述

Dataset & Results

在这里插入图片描述

Thought

  • 文章比较老，t 注入的方式没有什么参考价值。可以参考一下造数据的方法，和 gt 格式
  • 本文似乎可以用 prompt 分别控制 body 的每一个独立肢体 lib
奔跑的汉堡包
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
拦截器与冲突解决
08-05
然而，在使用`<mvc:annotation-driven />`元素时，有时会出现与自定义拦截器的冲突问题。这个问题通常出现在当我们试图同时配置基于注解的控制器处理和自定义拦截器时，Spring可能无法正确地处理这些组件的执行顺序...
SpringMVC源码总结（三）mvc:annotation-driven和mvc:message-converters简单介绍
08-07
在Spring MVC框架中，`mvc:annotation-driven`和`mvc:message-converters`是两个非常重要的元素，它们在处理基于注解的控制器和数据转换方面起着关键作用。本篇文章将深入探讨这两个组件的工作原理以及如何在实际...
AI招聘平台TaTiO获百万美元融资；Google数据科学系列课；批量图片转文字工具；无人驾驶4D雷达数据集；3D医学影像检测库 | ShowMeAI资讯日报
热门推荐
ShowMeAI研究中心
10-26 1万+
批量图片转文字工具、3D医学影像检测Transformer库、经典tree命令的Python重制版、深度学习物理引擎、使用现实世界的数据进行线性或混合整数优化、现代C++生物序列分析模板库、Google数据科学系列课程、NLP和MLOps学习资源库、面向无人驾驶的4D雷达数据集、前沿论文…点击获取全部资讯
Audio-driven Talking Face Video Generation with Learning-based Personalized Head Pose （译文）
weixin_41967328的博客
11-17 1557
链接 Arxiv： https://arxiv.org/abs/2002.10137 Video： https://www.bilibili.com/video/BV15f4y1t7FD/ 摘要 现实世界中会说话的面孔通常伴随着自然的头部运动。然而，大多数现有的谈话人脸视频生成方法只考虑具有固定头部姿势的面部动画。在本文中，我们提出了一个深度神经网络模型来解决这个问题，该模型将源人物的音频信号a和目标人物的非常短的视频V作为输入，并输出具有个性化头部姿势（利用V中的视觉信息）、表情和嘴唇同步的合成高质量对话
翻译：视觉语言动作模型，将在线知识转化到机器人控制RT-2: Vision-Language-Action ModelsTransfer Web Knowledge2Robotic Control
weixin_41407147的博客
07-30 1297
在广泛的网页规模数据集上预训练的高容量模型为各种下游任务提供了有效而强大的平台：大型语言模型不仅能使文本生成流畅（Anil等人，2023;Brohan等人，2022;OpenAI，2023），而且能解决新出现的问题（Cobbe等人，2021;Lewkowycz等人，2022;Polu等人，2022）并创造性地生成散文（Brown等人，2020;OpenAI，2023）和代码（Chen等人，2021），而视觉-语言模型则能实现开放词汇的视觉识别（Kirillov等人，2023;Minderer等人，2022。
可定制多目标视频生成；LLM驱动的文生图；控制视频生成中运动目标轨迹；扩散模型做全景分割；实时多功能SAM；各种分割任务统一模型
公众号『机器感知』
01-19 976
本文首发于公众号：机器感知。
CDDFuse: Correlation-Driven Dual-Branch 论文
10-31
CDDFuse（Correlation-Driven Dual-Branch Feature Decomposition）是一种用于多模态图像融合的深度学习方法，主要针对如何有效建模跨模态特征并分解出特定模态和共享模态特征的挑战。论文的目的是在融合图像中保留...
GAGMS: A Requirement-Driven General Address Generation and Management System
02-11
GAGMS: A Requirement-Driven General Address Generation and Management System
SpringMVC源码总结（二）mvc:mvc:annotation-driven背后的那些事
08-07
在Spring MVC框架中，`mvc:annotation-driven`是Spring MVC配置中的一个重要元素，它使得我们的应用能够支持基于注解的控制器、数据绑定、格式化转换器和服务端验证等功能。这篇博客将深入探讨`mvc:annotation-...
In Search of Lost Online Test-time Adaptation: A Survey--论文笔记
dezwb的博客
07-08 602
本文介绍了在线测试时间适应(online test-time adaptation,OTTA)的全面调查，OTTA是一种专注于使机器学习模型适应批量到达时的新数据分布的新方法。尽管最近OTTA方法得到了广泛应用，但该领域仍陷入了诸如模糊设置、过时的主干网络和不一致的超参数调优等问题，这些问题混淆了真正的挑战，并使可重复性难以捉摸。为了清晰和严格的比较，我们将OTTA技术分为三个主要类别，并使用强大的视觉转换(ViT)主干对它们进行基准测试，以发现真正有效的策略。
【论文阅读笔记】ASPS: Augmented Segment Anything Model for Polyp Segmentation
qq_46056318的博客
07-08 258
ASPS：用于息肉分割的扩展SAM模型2024年 arxivPaperCode息肉分割在结直肠癌诊断中起着至关重要的作用。最近，Segment Anything Model(SAM)的出现利用其在大规模数据集上的强大预训练能力，为息肉分割带来了前所未有的潜力。然而，由于自然图像和内窥镜图像之间的区域差距，SAM在实现有效的息肉分割方面遇到了两个限制。首先，它的基于变压器的结构优先考虑全局和低频信息，可能会忽略局部细节，并在学习的特征中引入偏差。
【论文阅读】AsyncDiff: Parallelizing Diffusion Models by Asynchronous Denoising
weixin_57974242的博客
07-07 365
简介：异步去噪并行化扩散模型。提出了一种新的扩散模型分布式加速方法，该方法在对生成质量影响最小的情况下显著降低了推理延迟。原理：用异步过程取代顺序去噪过程，允许去噪模型的每个组件在不同的设备上独立运行。动机：扩散模型的多步顺序去噪特性导致了高累积延迟，无法并行计算。AsyncDiff是一个通用的即插即用加速方案，可以跨多个设备实现模型并行，将噪声预测模型分成多个组件，并将每个组件分配给不同的设备。为了打破组件之间的依赖链，它利用连续扩散步骤中隐藏状态之间的高度相似性，将传统的顺序去噪转换为异步过程。
论文阅读--Simple Baselines for Image Restoration
Matrix-11
07-06 759
这篇文章是 2022 ECCV 的一篇文章，是旷视科技的一篇文章，针对图像恢复任务各种网络结构进行了梳理，最后总结出一种非常简单却高效的网络结构，这个网络结构甚至不需要非线性激活函数。文章一开始就提到，虽然在图像复原领域，可以看到非常明显的进步和提升，但是这些算法框架的复杂性也随之增加。这篇文章重新思考了算法框架的设计，提出了一种非常简单的基线算法框架，这个基线算法框架不仅效果上可以超越当前的一些 SOTA 方法，而且运算效率也非常高。
论文阅读 - Intriguing properties of neural networks
最新发布
m0_52739647的博客
07-08 363
经典论文、对抗样本领域的开山之作发布时间：2014论文链接: https://arxiv.org/pdf/1312.6199.pdf作者：Christian Szegedy, Wojciech Zaremba, Ilya Sutskever, Joan Bruna, Dumitru Erhan, Ian Goodfellow, Rob Fergus写在前面：该文章已经发表10年了，该领域的发展十分迅速，本文中的一些观点可能并不准确。
YOLO-world论文阅读笔记
qq_42575422的博客
07-02 1006
结合CLIP和yolov8，CLIP提取文本特征，yolov8提取图像特征，核心是如何将文本特征和图像特征融合，这个特征融合模块要非常简单，最好融合一次就行，不用多多阶段融合，这样部署的时候就可以直接用CLIP离线编码好的文本特征，而不用再实时推理了，节约了大量的计算量，并且非常简单。之前的开集检测方法都需要在线编码文本，以获取需要检测的类别，而yolo-world只需要离线编码一次就行了，后面推理阶段直接用离线编码的文本就行，对部署非常友好。只微调分割头的话会有更好的开集分割能力（泛化能力）。
论文阅读：Large Language Models for Education: A Survey and Outlook
CSPhD-winston的博客
07-08 518
论文概述了LLMs在教育环境中的多种技术，包括学生和教师辅助、自适应学习和商业工具。系统回顾了每个视角下的技术进步，整理了相关数据集和基准测试，并识别了LLMs部署在教育中的相关风险和挑战。概述了未来的研究方向，强调了有前景的方向。
ByteTrack论文阅读笔记
weixin_47365232的博客
07-03 843
（1）检测分数较低的目标，例如被遮挡的目标，会被简单丢弃。本文提出一种简单、有效且通用的关联方法，通过几乎关联每个检测框而不是仅关联高分检测框来进行跟踪。（2）对于低分检测框，利用它们与轨迹的相似度来恢复真值目标，并过滤掉背景检测。
<mvc:annotation-driven></mvc:annotation-driven>
03-16
<mvc:annotation-driven>是Spring MVC框架中的一个XML配置元素，用于启用基于注解的控制器和处理器映射器。它会自动注册一些必要的组件，如RequestMappingHandlerMapping和RequestMappingHandlerAdapter，以便支持...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值