源码剖析：MimicMotion: High-Quality Human Motion Video Generation with Confidence-aware Pose Guidance

已于 2024-07-18 11:07:44 修改
阅读量573 收藏 5
点赞数 6
分类专栏： Diffusion Models与深度学习 文章标签： AIGC 扩散模型 视频生成 人工智能
于 2024-07-17 21:09:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/140461890
版权

Diffusion models代码解读：入门与实战

前言：最近一年有很多非常火的人类跳舞视频生成的工作，最近腾讯出品了基于SVD模型的MimicMotion，是目前生成结果最好、效果最稳定、分辨率最高、人物ID特征保持最好的工作，这篇博客结合论文原理和细节，深入解读《MimicMotion: High-Quality Human Motion Video Generation with Confidence-aware Pose Guidance》的代码。

目录

姿态提取

DWPose

Pose尺度缩放

PoseNet

解决姿态信息不准确的问题

姿态提取

如下图，先用DWPose提取pose，再经过PoseNet注入

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沉迷单车的追风少年
关注
专栏目录
订阅专栏
AI在线免费视频工具3：声音生视频、视频驱动图片liveportrait、MimicMotion、视频描述生成
weixin_42357472的博客
07-01 301
Noisee：通过声音生成对应视频，可以增加prompt指定生成内容相关视频。
【AIGC】MimicMotion：姿态引导的高质量人体运动视频生成技术
qq_44091004的博客
09-01 1085
MimicMotion：姿态引导的高质量人体运动视频生成技术
MimicMotion的核心思想
先天无极编程圣体的博客
08-08 463
这是一个简单的GAN，用于生成视频帧序列。nn.Tanh()以上是一个简化的MimicMotion实现示例，通过结合文本和音频特征，使用生成对抗网络生成视频帧。实际应用中，MimicMotion需要更复杂的模型架构和更大的数据集来提升生成效果。此外，还可以利用更先进的技术，如Transformer、LSTM等，进一步提升生成质量和性能。如果需要更详细的解释或有其他问题，请告诉我！
MimicMotion - 一张图片实现视频跳舞，腾讯开源照片跳舞模型 本地一键整合包下载
AI人工智能影像技术博客
07-16 1378
近期，腾讯联合上海交通大学开源了一个可控视频生成框架：MimicMotion，类似阿里的全民舞王，只需要上传一张照片，然后再上传一段人物的舞蹈或者动作视频，就可以生成以照片中人物为原型的动作或者舞蹈视频了。
MimicMotion-腾讯开源视频生成框架
ejinxian的专栏
07-18 622
MagicPose可以精确地生成外观一致的结果，而原始的文本到图像模型(如Stable Diffusion和ControlNet)很难准确地保持主体身份信息。包括半身动作、全身动作以及谈话动作视频。相比现有的开源方案如 MagicPose、Moore-AnimateAnyone 等；MimicMotion 在生成多种形式的人体动作视频上均具有良好的结果。可以被视为原始文本到图像模型的扩展/插件，而无需修改其预训练的权重。来产生平滑的高质量人体动作视频。论文链接：​​​​​​​。项目链接：​​​​​​​。
麻烦大佬看看这种情况怎解决ModuleNotFoundError: No module named ‘matplotlib‘
jluracerchen的博客
03-28 307
我已经安装过了matplotlib,为什么在运行可执行文件的时候还是报错呢？网上的各种方法都试过了，解决不了。恳请大佬们解答以下问题。
开源公告｜MimicMotion发布
腾讯开源
07-16 132
业务背景目前AI在图像生成领域已被广告客户广泛使用，解决客户实际需求，降低整体素材成本。视频类素材在广告投放中占比大，客户对于AI视频的需求日渐强烈然而视频生成目前普遍存在可控性弱，动态效果不真实，输出时长短的问题。MimicMotion技术能通过参考人物的骨骼动作，有效解决以上问题，生成平滑高质量的人物动作视频，从而解决广告客户对人物动作的需求。‍社交行业-展示类动作教育行业-运动类动作电商...
Diffusion models代码解读：入门与实战
沉迷单车的追风少年
09-24 1万+
Diffusion models代码解读：系列文章汇总导航
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《Diffusion Models与深度学习》专栏文章导航
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 8737
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
每日AIGC最新进展(43)：腾讯人类动作视频生成框架MimicMotion、香港大学提出AI生成视频检测方法、基于小波变换的自回归生成模型
沉迷单车的追风少年
07-07 543
MimicMotion是一种高质量的人类动作视频生成框架，它通过引入置信度感知的姿态引导技术，解决了视频生成中的可控性、视频长度和细节丰富度等挑战。与传统方法相比，MimicMotion具有提高帧质量和时间平滑性的特点，并通过区域损失放大策略显著降低图像失真。
如何在算家云搭建模型MimicMotion（运动模仿）
SJJS_1的博客
08-20 784
*MimicMotion* （运动模仿）是具有置信感知姿势指导的高质量人体运动视频生成模型。只需要上传一张人物照片，然后再上传一段人物的舞蹈或者动作视频，就可以生成以照片中人物为原型的动作或者舞蹈视频。 本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建MimicMotion
【AIGC半月报】AIGC大模型启元：2024.09（上）
LeeZhao的博客
09-06 1006
【AIGC半月报】AIGC大模型启元：2024.09（上）
【AIGC数字人】EchoMimic:基于可编辑关键点条件的类人音频驱动肖像动画
qq_44091004的博客
09-08 860
EchoMimic:基于可编辑地标条件的类人音频驱动肖像动画
【AIGC】InstructPixPix:基于文本引导的图像编辑技术
qq_44091004的博客
09-09 1130
InstructPixPix:基于文本引导的图像编辑技术
OPENAIGC开发者大赛企业组AI黑马奖 | AIGC数智传媒解决方案
最新发布
RPA中国
09-12 282
目前公司主要业务包括三大产品（BextAI平台，AI智能体，AI工作流）和解决方案 目前市面上通用大模式无法全面支撑垂直领域的应用和拓展，我们采用大模型+小模型的解决方案，有效为客户降本增效，使客户做到模型驱动，业务智能，决策智能。希望通过这个解决方案，能够让AI技术更加深入地应用到企业化办公环境之中，对企业的信息处理、分析及优化、宣传方案等方面提供强大的技术保障，进一步提升办公效率并且赋能企业的业务延伸和拓展。针对文化交流与教育市场，提供智能生成和推荐系统，解决了多语言支持和内容生成效率低的问题。
qmagface: simple and accurate quality-aware face recognition
11-20
QMAGFACE是一种简单而准确的质量感知人脸识别系统。它使用先进的人脸识别技术来实现高精度的识别，同时考虑了人脸图像的质量因素。 QMAGFACE的主要特点是简单易用。用户只需在系统中输入待识别的人脸图像或视频，系统会通过分析人脸特征来进行识别。相比其他复杂的人脸识别系统，QMAGFACE可以快速进行人脸特征提取和匹配，从而大大提高了识别的速度和准确性。 此外，QMAGFACE还具备质量感知功能，即识别时考虑人脸图像的质量因素。这意味着系统会分析人脸图像的清晰度、角度、光照等因素，并根据质量评估结果进行相应的处理和调整。例如，当人脸图像质量较低时，系统可以自动进行图像增强，使得识别结果更加准确可靠。 QMAGFACE还可以广泛应用于各个领域。例如，在安防领域，它可以用于人脸门禁系统，提高安全性和便捷性。在社交媒体领域，它可以用于自动标记人脸照片，减少手动操作的工作量。在市场调研领域，它可以用于人脸识别统计人群数量和特征。 总之，QMAGFACE是一种简单而准确的质量感知人脸识别系统，其高精度的识别和质量感知功能使其在各个领域都具有广泛的应用前景。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值