FollowYourPose 安装踩坑

已于 2024-06-10 01:59:41 修改
阅读量234 收藏
点赞数
分类专栏： 深度学习宝典 aigc与数字人 文章标签： 计算机视觉
于 2024-02-04 05:45:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacke121/article/details/136019123
版权
本文档介绍了FollowYourPose的原理，即通过mmpose提取2d姿态关键点，结合稳定扩散模型生成连续图片。在安装过程中，详细列出了依赖项的安装步骤，包括Windows上Triton的安装。同时，针对xformer报错问题提供了临时解决方案，由于Windows系统目录中不能有空格导致的错误，给出了相应的处理建议。
摘要由CSDN通过智能技术生成

目录

FollowYourClick 还没开源

Follow-Your-Emoji 还没开源

FollowYourPose 原理

安装依赖项

Windows上安装Triton

xformer 报错和临时解决：

FollowYourClick 还没开源

Follow-Your-Emoji 还没开源

光从姿态生成动作视频，需要cuda显存24G

FollowYourPose 原理

先用mmpose从视频提取2d姿态关键点

然后用stable diffusion x-1.4 生成连续图片

安装依赖项

pip install -q diffusers==0.11.1 transformers==4.26.0 bitsandbytes==0.35.4 \ imageio-ffmpeg xformers==0.0.16 --extra-index-url https://download.pytorch.org/whl/cu118

pip3 install -U xformers --index-url https://download.pytorch.org/whl/cu118

如果想直接验证生成效果，

!TORCH_DISTRIBUTED_DEBUG=DETAIL accelerate launch txt2video.
了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI算法网奇
关注
专栏目录
订阅专栏
Python_这个repo是使用PoseFree视频的FollowYourPose PoseGuided Textto.zip
05-25
8. **环境配置**：执行该项目可能需要安装特定版本的Python、TensorFlow、PyTorch或其他相关库。开发者应在`说明.txt`中提供了设置开发环境的指南。 9. **应用领域**：这项技术有广泛的应用前景，如虚拟现实（VR）...
探索技术新星：FollowYourPose - 实时人体姿态识别的利器
gitblog_00014的博客
04-25 332
探索技术新星：FollowYourPose - 实时人体姿态识别的利器 项目地址:https://gitcode.com/mayuelala/FollowYourPose 在计算机视觉和人工智能领域中，实时人体姿态识别是一项关键的技术，它能让机器理解并跟踪人类的动作。FollowYourPose 是一个基于深度学习的开源项目，专注于提供高效、准确的人体姿态估计算法，为开发者和研究者打造了一种新的工...
梵高大跳科目三，只需文字+火柴人动效！可控视频生成框架来了 | AAAI 2024
量子位
01-31 127
马跃 投稿量子位 | 公众号 QbitAI视频生成还可以这么玩？来一个“火柴人”做做动作示范，再加文本描述，即可让各种形象惟妙惟肖地跟着动起来。比如男人在公园椅子上做远眺姿势：钢铁侠街边起舞：蝙蝠侠也不闲着，水上打拳：形象数量可以随意添加：风格也能任意切换（上：新海诚，下：梵高）：如此看下来，让任意一个八杆子打不着的形象跳个科目三，也是简简单单了。如上成果便是不久前入选了AAAI 2024的姿态全...
【文本2视频+姿势跟随 数字人】Follow Your Pose: Pose-Guided Text-to-Video Generation using Pose-Free Videos
Arachis_X的博客
03-13 1447
生成文字可编辑、姿势可控制的人物视频是创造各种数字人类的迫切需求。然而，这项任务一直受限于缺乏以视频与姿势字幕配对为特征的综合数据集和视频先验生成模型。在这项工作中，我们设计了一种新颖的两阶段训练方案，可以利用容易获得的数据集（即图像姿势配对和无姿势视频）和预训练的文本到图像（T2I）模型来获得姿势可控的人物视频。具体来说，在第一阶段，仅使用关键点-图像对生成可控的文本-图像。我们学习一个零初始化卷积编码器来编码姿势信息。
FollowYourPose
weixin_37021380的博客
08-01 17
这篇工作主要解决了生成文本可编辑且姿势可控制的角色视频的问题。为实现这一目标，作者重新设计和调整了预训练的文本到图像模型，因为它具有强大的语义编辑和组合能力。作者设计了一个新的两阶段训练方案，可以利用大规模的图像姿势对和多样化的无姿势数据集。风暴士兵直接开始街头炫舞？两阶段训练模型生成文本可编辑且姿势可控制的角色视频论文...
FollowYourPose - 生成可编辑、姿态可控制的人物视频
AI + 工程
09-28 729
关于 FollowYourPose 摘要 🍻🍻🍻设置环境 💃💃💃培训 🕺🕺🕺推理 💃💃💃 本地 Gradio 演示 🕺🕺🕺权重 💃💃💃结果
Follow Your Pose: Pose-Guided Text-to-Video Generation using Pose-Free Videos
weixin_44994838的博客
05-28 971
Ep​。
​20240612 每日AI必读资讯
m0_46163918的博客
06-11 3046
马斯克发推对这项合作的安全性提出质疑，表示“如果苹果在操作系统层面整合 OpenAl，那么苹果设备将被我的公司禁止使用。2、海量模板：提供丰富的模板库，包括Logo、帖子、邀请函、名片等，满足各种设计需求。- Siri将集成 OpenAI 的 ChatGPT，当用户与Siri交互时，Siri 将自动确定该查询是否更适合由 ChatGPT输出结果。- 还包括一些列的写作、图像生成、全新的 Siri、集成ChatGPT 等功能。- 用户可以要求AI为故事中的角色配音，生成独特声音，如狮子的轰隆隆声。
基于yolov8深度学习的120种犬类检测与识别系统python源码+onnx模型+评估指标曲线+精美GUI界面目标检测狗类检测犬类识别系统
FL1623863129的博客
10-02 1012
【算法介绍】基于YOLOv8深度学习的120种犬类检测与识别系统是一款功能强大的工具，该系统利用YOLOv8深度学习框架，通过21583张图片的训练，实现了对120种犬类的精准检测与识别。该系统基于Python与PyQt5开发，具有简洁的UI界面，支持图片、视频以及摄像头三种方式进行目标检测，并能够将检测结果进行保存。在检测过程中，系统能够实时显示目标位置、目标总数、置信度以及用时等信息，为用户提供直观、清晰的检测结果。该系统在多个领域具有广泛的应用价值。
红外画面空中目标检测系统源码分享
xuehaishijue的博客
10-02 1196
数据集信息展示在现代计算机视觉领域，尤其是在空中目标检测的研究中，数据集的构建与选择至关重要。本研究所采用的数据集名为“Air Vehicles”，专门针对红外画面中的空中目标检测任务而设计。该数据集包含四个主要类别，分别是“Airplane”（飞机）、“Bird”（鸟类）、“Drone”（无人机）和“Helicopter”（直升机）。这些类别的选择不仅涵盖了多种常见的空中目标，还反映了当前无人机技术和航空活动的快速发展。
PASCAL VOC 2012数据集 20类物体，这些物体包括人、动物（如猫、狗、鸟等）、交通工具（如车、船、飞机等）以及家具（如椅子、桌子、沙发等）。
阿利同学的博客
10-04 789
PASCAL VOC 2012数据集 20类物体，这些物体包括人、动物（如猫、狗、鸟等）、交通工具（如车、船、飞机等）以及家具（如椅子、桌子、沙发等）。
目标检测评价指标
m0_57442556的博客
10-02 336
目标检测评价指标
[数据集][目标检测]辣椒缺陷检测数据集VOC+YOLO格式695张5类别
FL1623863129的博客
09-28 561
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)标注类别名称:[“Defect”,“Fly-bites”,“Grade-A”,“Grade-B”,“striped”]特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。图片数量(jpg文件个数)：698。标注数量(xml文件个数)：698。标注数量(txt文件个数)：698。标注规则：对类别进行画矩形框。
[数据集][目标检测]电力场景防震锤缺陷检测数据集VOC+YOLO格式705张1类别
FL1623863129的博客
09-30 612
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)重要说明：防震锤缺陷图片太难找，数据集里面存在大量单一场景图片，请仔细查看图片预览谨慎下载，此外数据集均为小目标检测，如果训练map偏低属于正常现象。特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。图片数量(jpg文件个数)：705。标注数量(xml文件个数)：705。标注数量(txt文件个数)：705。
计算机视觉实战项目4（图像分类+目标检测+目标跟踪+姿态识别+车道线识别+车牌识别+无人机检测+A*路径规划+单目测距与测速+行人车辆计数等）
阿利同学的博客
09-24 2313
往期热门项目回顾： 计算机视觉项目大集合 改进的yolo目标检测-测距测速 路径规划算法 图像去雨去雾+目标检测+测距项目 交通标志识别项目 yolo系列-重磅yolov9界面-最新的yolo 姿态识别-3d姿态识别 深度学习小白学习路线 AI健身教练-引体向上-俯卧撑计数代码-仰卧起坐姿态估计-康复训练姿态识别-姿态矫正（附代码） yolov8双目测距-yolov8+sgbm（原理+代码） yolov5单目测距+速度测量+目标跟踪（算法介绍和代码 YOLOv8界面-目标检测+语义分割
05_图片剪切
A_Lv123的博客
09-29 471
dst = img[350:650,550:800] #这里选取矩形区域X：550-800 Y：350-650。image_widget2.value = bgr8_to_jpeg(dst) #剪切的图像。image_widget1.value = bgr8_to_jpeg(img1) #原始图像。以下会在jupyterLab控件中显示两种压缩后的图像对比显示。#bgr8转jpeg格式。
【目标检测】yolo的三种数据集格式
最新发布
m0_55259388的博客
10-04 444
目标检测中数据集格式之间的相互转换--coco、voc、yolohttp://目标检测中数据集格式之间的相互转换--coco、voc、yolo - 琪小钧的文章 - 知乎 https://zhuanlan.zhihu.com/p/461488682【目标检测】yolo的三种数据集格式http://【目标检测】yolo的三种数据集格式 - YoursMin的文章 - 知乎 https://zhuanlan.zhihu.com/p/525950939。
计算机视觉综述
weixin_73373302的博客
09-27 933
计算机视觉是一门研究如何使计算机能够从图像或视频中获取高层次的信息的科学。这些信息可以包括物体的识别、位置、姿态、运动轨迹等。计算机视觉的目标是模拟人类视觉系统的能力，使计算机能够像人一样理解和解释视觉数据。计算机视觉是一个充满活力和创新的领域，它不仅推动了人工智能的发展，还在各个行业产生了深远的影响。希望本文能帮助你对计算机视觉有一个全面的了解，激发你对这一领域的兴趣。期待与你在计算机视觉的世界中相遇！
一文了解：最新版本 Llama 3.2
qianggezhishen的专栏
09-28 1172
用户可以直接在设备上对大量文本进行摘要，比如电子邮件或会议记录，不需要依赖云服务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值