FollowYourPose 安装踩坑

已于 2024-11-28 11:46:43 修改
阅读量410 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习宝典 aigc与数字人 文章标签： 计算机视觉
于 2024-02-04 05:45:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacke121/article/details/136019123
本文档介绍了FollowYourPose的原理，即通过mmpose提取2d姿态关键点，结合稳定扩散模型生成连续图片。在安装过程中，详细列出了依赖项的安装步骤，包括Windows上Triton的安装。同时，针对xformer报错问题提供了临时解决方案，由于Windows系统目录中不能有空格导致的错误，给出了相应的处理建议。

目录

FollowYourClick 还没开源

Follow-Your-Emoji 还没开源

FollowYourPose 原理

安装依赖项

Windows上安装Triton

xformer 报错和临时解决：

FollowYourClick 还没开源

Follow-Your-Emoji 已开源

GitHub - mayuelala/FollowYourEmoji: [Siggraph Asia 2024] Follow-Your-Emoji: This repo is the official implementation of "Follow-Your-Emoji: Fine-Controllable and Expressive Freestyle Portrait Animation"

FollowYourPose 原理

先用mmpose从视频提取2d姿态关键点

然后用stable diffusion x-1.4 生成连续图片

光从姿态生

了解本专栏 订阅专栏 解锁全文 超级会员免费看
探索技术新星：FollowYourPose - 实时人体姿态识别的利器
gitblog_00014的博客
04-25 451
探索技术新星：FollowYourPose - 实时人体姿态识别的利器 在计算机视觉和人工智能领域中，实时人体姿态识别是一项关键的技术，它能让机器理解并跟踪人类的动作。 是一个基于深度学习的开源项目，专注于提供高效、准确的人体姿态估计算法，为开发者和研究者打造了一种新的工具。 项目简介 FollowYourPose 使用了先进的卷积神经网络（CNN）模型，能够实时地检测图像中的多个关节，并精准地标...
FollowYourPose
whaosoft143ai的博客
12-21 449
在我们的新设计的支持下，我们的方法成功地生成了连续的姿势可控的角色视频，同时保留了预训练的T2I模型的概念生成和合成能力。在这项工作中，我们设计了一种新颖的两阶段训练方案，该方案可以利用易于获得的数据集（即图像姿势对和无姿势视频）和预训练的文本到图像（T2I）模型来获得姿势可控的角色视频。风暴士兵直接开始街头炫舞？通过以上两阶段的训练，结合为每个阶段精心设计的可调节模块，我们所提出的方法可以从轻松获得的数据集（例如人体和姿势的图像对以及随机视频）中生成连续的姿势可控视频。 whaosoft aiot htt
FollowYourPose - 生成可编辑、姿态可控制的人物视频
AI工程化、开源分享、文档翻译、代码笔记
09-28 2036
关于 FollowYourPose 摘要 🍻🍻🍻设置环境 💃💃💃培训 🕺🕺🕺推理 💃💃💃 本地 Gradio 演示 🕺🕺🕺权重 💃💃💃结果
Follow Your Pose: Pose-Guided Text-to-Video Generation using Pose-Free Videos
weixin_44994838的博客
05-28 1648
Ep​。
腾讯混元团队新模型——Follow-Your-Pose-v2：开启AI视频新纪元！
JxyyzAI的博客
06-19 530
腾讯混元团队联合中山大学、香港科技大学联合推出全新图生视频模型“Follow-Your-Pose-v2”，相关成果已经发表在 arxiv 上，今天就带大家一起来看看它有何不同～此外，这一技术还可以应用于虚拟现实中，为用户提供更加丰富和真实的交互体验。Follow-Your-Pose-v2是全新的图生视频模型，只需要输入一张人物图片和一段动作视频，就可以让图片上的人跟随视频上的动作动起来，生成视频长度可达10秒。例如，在电影制作中，可以通过这一模型快速生成角色的动态效果，大大减少制作成本和时间。
【文本2视频+姿势跟随 数字人】Follow Your Pose: Pose-Guided Text-to-Video Generation using Pose-Free Videos
Arachis_X的博客
03-13 1718
生成文字可编辑、姿势可控制的人物视频是创造各种数字人类的迫切需求。然而，这项任务一直受限于缺乏以视频与姿势字幕配对为特征的综合数据集和视频先验生成模型。在这项工作中，我们设计了一种新颖的两阶段训练方案，可以利用容易获得的数据集（即图像姿势配对和无姿势视频）和预训练的文本到图像（T2I）模型来获得姿势可控的人物视频。具体来说，在第一阶段，仅使用关键点-图像对生成可控的文本-图像。我们学习一个零初始化卷积编码器来编码姿势信息。
Python_这个repo是使用PoseFree视频的FollowYourPose PoseGuided Textto.zip
05-25
8. **环境配置**：执行该项目可能需要安装特定版本的Python、TensorFlow、PyTorch或其他相关库。开发者应在`说明.txt`中提供了设置开发环境的指南。 9. **应用领域**：这项技术有广泛的应用前景，如虚拟现实（VR）...
梵高大跳科目三，只需文字+火柴人动效！可控视频生成框架来了 | AAAI 2024
量子位
01-31 308
马跃 投稿量子位 | 公众号 QbitAI视频生成还可以这么玩？来一个“火柴人”做做动作示范，再加文本描述，即可让各种形象惟妙惟肖地跟着动起来。比如男人在公园椅子上做远眺姿势：钢铁侠街边起舞：蝙蝠侠也不闲着，水上打拳：形象数量可以随意添加：风格也能任意切换（上：新海诚，下：梵高）：如此看下来，让任意一个八杆子打不着的形象跳个科目三，也是简简单单了。如上成果便是不久前入选了AAAI 2024的姿态全...
YOLOv3 目标检测算法核心技术
2301_77510406的博客
10-17 818
全卷积 + 残差连接：保证特征提取深度与效率；3 尺度特征融合：解决小目标检测痛点；9 种先验框：提升目标定位精度；Logistic 激活：支持多标签检测；速度 - 精度平衡：适配多场景需求。
YOLO 系列演进：从 V1 到 V2 的目标检测革命
wsygjbr的博客
10-16 690
从 2015 年的 YOLO-V1 到后续的 YOLO-V2，算法在 “速度” 与 “精度” 的平衡上不断突破，成为工业界实时检测场景（如视频监控、自动驾驶感知）的首选方案之一。
目标检测全解析：从基础概念到深度学习实战技术
wsygjbr的博客
10-16 786
目标检测的本质是解决 “what + where” 的双重问题 —— 既要判断图像中存在哪些物体（类别识别），又要确定每个物体的具体位置（边界框定位），属于典型的 “多任务学习”。
计算机视觉：卷积神经网络（CNN）图像分类从像素与色彩通道基础到特征提取、池化及预测
XXQuagmireXX的博客
10-13 946
卷积神经网络通过滤波器（或称核）从图像中提取特征，再将这些特征传入神经网络进行预测或输出。在深入探讨卷积神经网络之前，我们先详细了解图像的工作原理。
目标检测YOLO实战应用案例100讲-基于深度学习的多目标检测与跟踪
qq_36130719的博客
10-17 33
如果说人类用眼睛和大脑去感知所处的三维世界，那么计算机视觉就是使机 器像人类的眼睛和大脑一样可以“看懂”图像以获得信息。在当下高度信息化的 社会中，由于图像内蕴含了现实世界中丰富的信息，照片和视频数量呈爆发式增 长。在计算机视觉出现之前，数字图像对于计算机来说仅是一个文件，无法获得 图像所蕴含的深层语义信息，比如感兴趣目标的形状、位置、大小和种类等属性。近年来，GPU计算性能显著提升，人工智能的发展进入了快车道，而人工智能所 解决的主要问题是使机器具有决策判断能力，以完成特定任务。
深度学习目标检测项目
wjt102020的博客
10-15 740
本文系统介绍了深度学习目标检测的核心知识，包括基本概念、主流数据集、评估指标和方法演进。重点阐述了VOC和COCO两大数据集的特点，以及YOLO、VOC、COCO三种数据格式的差异。详细解析了IoU、TP/FP等核心评估指标的计算方法，比较了mean和average的区别。最后梳理了目标检测方法的发展历程，从传统滑动窗口到基于Anchor的深度学习方法，并说明了两阶段和一阶段算法的流程差异，以及NMS在结果优化中的关键作用。全文为理解目标检测技术提供了系统的知识框架。
YOLOv3 ：目标检测的经典融合与创新
2401_85800390的博客
10-17 289
YOLOv3 并非颠覆性创新，而是 “站在巨人肩膀上的整合者”—— 它将残差连接、多尺度融合、Logistic 多标签预测等技术有机结合，针对性解决了 YOLO 系列此前在小目标检测、多标签识别上的短板，同时保持了 “单阶段检测” 的速度优势。验证了 “多尺度特征融合” 在小目标检测中的有效性，为后续 YOLOv4、YOLOv5 的尺度设计奠定基础；实现了 “精度与速度的高效平衡”，成为工业界实时目标检测（如监控、自动驾驶、零售识别）的常用模型；
IDEA提出Rex-Omni：将目标检测变为“下一个点预测”，零样本性能超越DINO
我爱计算机视觉
10-15 776
为了让模型学会这种新的坐标语言，并能理解复杂的指令，高质量、大规模的训练数据必不可-少。在最经典的目标检测基准COCO上，Rex-Omni在零样本设置下（即完全不用COCO数据集训练），在常用的比较设置IoU阈值为0.5时，不仅超越了之前最强的MLLM（SEED1.5-VL），甚至还超过了为COCO特训的传统检测器DINO-R50。：相比于将坐标值拆成单个数字（如“192”拆成“1”、“9”、“2”三个token）的方法，用一个特殊token表示一个坐标值，极大地缩短了输出序列的长度，提升了推理速度。
YOLOv3 详解：核心改进、网络架构与目标检测实践
最新发布
OAFDA的博客
10-17 544
YOLOv3 通过多尺度特征融合、残差连接、9 种先验框和 logistic 分类等改进，解决了前代版本的核心痛点，成为目标检测领域的经典模型。尽管后续 YOLO 系列不断更新，但 YOLOv3 的设计思路（如多尺度检测、特征融合）仍被广泛借鉴，是入门目标检测的必学模型。如果你需要进一步实践，可从 “基于 PyTorch/TensorFlow 实现 YOLOv3” 入手，结合本文的理论细节，深入理解网络每一层的作用。
读懂目标检测
ygyqinghuan的博客
10-15 565
目标检测的本质是 “在复杂场景中，精准、高效地找到并识别目标”，其技术发展始终围绕 “提升精度” 和 “加快速度” 两大目标。从数据集标注到模型评估，从传统滑动窗口到深度学习的单 / 双阶段架构，每一步创新都在解决实际场景中的痛点。未来，目标检测将进一步向 “更通用（适应复杂场景）、更高效（实时检测）、更轻量化（部署到边缘设备）” 方向发展，结合 Transformer、多模态融合等新技术，在更多行业场景中落地应用。
YOLOv3 技术总结
2401_89721626的博客
10-17 231
YOLOv3 作为 YOLO 系列的重要版本，核心优势在于优化网络结构以提升小目标检测能力，同时平衡检测精度与速度，融合了多种经典技术方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值