姿态识别+康复训练矫正+代码+部署

毕设宇航

已于 2023-11-09 10:21:23 修改

阅读量669

点赞数 3

分类专栏：姿态识别计算机视觉项目文章标签： YOLO

于 2023-11-08 16:58:20 首次发布

本文链接：https://blog.csdn.net/2301_78240361/article/details/134293184

版权

计算机视觉项目同时被 2 个专栏收录

11 篇文章 2 订阅

订阅专栏

姿态识别

3 篇文章 0 订阅

订阅专栏

YOLO-NAS姿势模型是对姿势估计领域的最新贡献。今年早些时候，Deci凭借其开创性的目标探测基础模型YOLO-NAS获得了广泛认可。在YOLO-NAS成功的基础上，该公司现在推出了YOLO-NAS Pose作为其Pose Estimation对应产品。这个姿势模型在延迟和准确性之间提供了一个极好的平衡。

姿态估计在计算机视觉中起着至关重要的作用，涵盖了广泛的重要应用。这些应用包括在医疗保健中监测患者的运动，分析运动员在运动中的表现，创建无缝人机界面，以及改进机器人系统。

YOLO-NAS姿势模型体系结构
YOLO-NAS姿势的运行推断
YOLO-NAS姿势vs/s YOLOv8姿势
姿势模特是如何训练的？
YOLO-NAS姿势损失函数
训练超参数
结论
工具书类

YOLO-NAS姿势模型体系结构

传统的姿态估计模型遵循以下两种方法之一：

检测场景中的所有人，然后估计其关键点并创建姿势。两阶段自上而下的过程。
检测场景中的所有关键点，然后生成姿势。两阶段自下而上的过程。

与传统的姿势估计模型相比，YOLO-NAS姿势做的事情不同。它可以在一个步骤中一次性检测并估计出人及其姿势，而不是先检测出人然后再估计其姿势。

YOLO-NAS体式结构——骨干和颈部设计

Pose模型建立在YOLO-NAS目标检测体系结构。目标检测模型和姿势估计模型具有相同的骨架和颈部设计，但头部不同。YOLO-NAS姿势的头部是为其多任务目标设计的，即检测单个类别的物体（如人或动物）并估计物体的姿势。

这一令人印象深刻的组合是Deci专有的神经架构搜索（NAS）引擎AutoNAC的结果。它在广阔的建筑搜索空间中导航，并返回最佳的建筑设计。以下是用于搜索的超参数：

姿势和长方体回归路径的Conv BN Relu块的数量。
两条路径的中间通道数
姿势/方框回归的共享主干或不同主干之间的决定

结果不言而喻

Yolo NAS姿势估计

COCO Val 2017数据集的YOLO-NAS态势评估

YOLO-NAS姿势模型根据COCO Val 2017数据集进行评估。该模型的准确性和延迟是最先进的。纳米模型是最快的，在T4 GPU上可以达到425fps的推断速度。同时，大型模型可以达到113 fps。

如果我们看看边缘部署，nano和medium模型仍将分别以63fps和48fps的速度实时运行。但当我们看看Jetson Xavier NX上部署的中型和大型模型时，速度开始下降，分别达到26fps和20fps。这些仍然是一些可用的最佳结果。

YOLO-NAS姿势的运行推断

YOLO-NAS Pose模型、培训管道和笔记本可在SuperGradientsDeci开发的基于PyTorch的开放源码视觉库。您可以安装 超级坡度通过管道。

pip install 超级的-梯度

为了运行推断，我们将导入以下Python模块：

torch：导入 PyTorch公司框架。其基础是SuperGradients已生成
os：对于系统命令和目录操作很有用。
pathlib：用于获取文件路径和路径操作。
super_gradients：YOLO-NAS Pose模特的故乡。

import火炬
import操作系统
import 路径库
from超梯度训练import模型
from超梯度通用对象名称import模

现在我们需要一些图像来进行推断wget .



urls =[
     &#34; http://upload.wikimedia.org/wikipedia/commons/4/4/B_B.jpg &#34;,
     &#34; http://i.img.com/736x/5a/8a/5c/5a8a5c4cd658580ae4719e5c96043541.jpg &#34;,
     &#34;https://mir-s3-cdn-cf.behance.net/project_modules/max_1200/4d222729493563.55f6420cd3768.jpg &#34;
]
downloaded_files =[]
for索引，urlin列举(urls, start=1 ):
  操作系统（f"wget {url} -O pose-{index}.jpg" )
  downloaded_files.append（f"pose-{index}.jpg" )

我们在列表中添加一些图像URL，然后循环遍历列表并使用下载和重命名每个文件wget，并将文件路径附加到新列表下载的文件 .

接下来，我们得到了YOLO-NAS姿势模型。



model =models.get(“yolo-nas-pose-l”, pretrained_weights="coco_pose" )
device ='cuda'如果torch.cuda.is_available() 其他的'cpu'
model.to(device)

使用函数get()我们下载模型。传递模型名称，然后传递权重文件的路径。在我们的案例中，我们使用NAS Pose大型模型具有COCO预处理权重 .

然后，将此模型加载到GPU设备（如果可用）。这将大大加快推理速度。

现在，使用函数predict()对图像进行预测。

confidence =0.6
model.predict(downloaded_files[ zero], conf=confidence).show()

predict()接受图像和置信阈值作为输入，对模型进行推断。使用show（）显示输出。

除了图像，predict()还接受以下内容作为输入：

SuperGradients也可以保存输出，而不是显示输出。

output_file =pathlib.Path(downloaded_files[ one]).stem +"-detections"+pathlib.Path(downloaded_files[ one]).suffix
model.predict(downloaded_files[ one], conf=confidence).save(output_file)

YOLO-NAS位姿估计预测

这两种方法都会在输入图像或视频上绘制结果。如果您只想得到结果：

	
preds =model.predict(downloaded_files[ two], conf=confidence)

原始预测如下：

XYXY格式的边界框预测
预测对象的检测得分
17 XY格式的关键点预测
每个关键点的置信度得分

初始后处理步骤应包括对方框检测和姿势预测应用非最大抑制，为您提供一组高置信度预测。然后选择匹配的框和姿势，它们一起构成模型输出。由于对模型进行了训练，以确保盒子检测和姿势预测发生在同一空间位置，因此保持了它们的一致性。

YOLO-NAS姿势vs/s YOLOv8姿势

YOLO-NAS姿势与YOLOv8姿势有效边界图绘制

上图是YOLO-NAS姿势和YOLOv8姿势模型。此空间也称为效率前沿。所有模型均在COCO Val 2017数据集和Intel Xeon第4代CPU上进行评估，具有1批大小和16位浮点操作。

所有YOLO-NAS姿势模型的准确性都高于YOLOv8姿势模型。这可以被认可为AutoNAC的头部设计。现在，让我们谈谈具体情况：

较小的YOLO-NAS Pose模型，即nano和small，虽然精度较高，但比YOLOv8 Pose模型慢。
较大的YOLO-NAS姿势模型，如中型和大型，在准确性和延迟方面都更好。
现在，如果我们想深入研究，这里是COCO Val 2017数据集上YOLO-NAS姿势和YOLOv8姿势模型的结果。

COCO Val 2017数据集上的YOLO-NAS姿势与YOLOv8姿势评估

YOLO-NAS姿势模型的准确性始终优于相应的YOLOv8姿势模型。让我们看看具体情况：

相应模型的参数数量不相似。例如，NAS Nano有990万个参数，而v8 Nano有330万个参数。这是三分之一的差异。
此外，推理运行硬件也不同。NAS在2018年9月发布的T4 GPU上发布了结果，而v8在更新的A100 GPU上公布了结果。

如果你想让我对这两个姿势模型进行比较分析，请留言。

姿势模特是如何训练的？
YOLO-NAS姿势损失函数
为了确保模型能够有效地学习这两项任务，Deci改进了培训中使用的损失函数。而不仅仅是考虑IoU（交叉路口）为指定的盒子打分，我们还将对象关键点相似性（OKS）分数，将预测的关键点与实际的关键点进行比较。这一变化鼓励模型对边界框和姿态估计进行准确的预测。

此外，使用了直接OKS回归技术，这超过了传统的L1/L2损失方法。这种方法有几个优点：

它在0到1的范围内运行，类似于方框IoU，表明姿势有多相似。
它考虑到在注释特定关键点时不同程度的困难。每个关键点都与一个独特的sigma分数相关联，它反映了注释和数据集细节的准确性。分数决定了模型因预测不准确而受到的惩罚程度。
使用与验证指标一致的损失函数，从而实现指标的目标确定和优化。
训练超参数
因为，YOLO-NAS姿势采用了与YOLO-NA模型相似的基础结构来自YOLO-NAS的预处理重量用于在进行最终训练之前初始化模型的主干和颈部。以下是训练超参数：

训练硬件：使用8个NVIDIA GeForce RTX 3090 GPU和PyTorch 2.0。
培训时间表：培训时间长达1000个时期，如果在过去100个时期内表现没有改善，则提前停止。
优化器：使用带余弦LR（学习率）衰减的AdamW，在训练结束时将LR降低0.05倍。
重量衰减：重量衰减系数为0.000001，不包括偏置层和BatchNorm层。
EMA（指数移动平均）衰减：EMA衰减使用50的β因子。
图像分辨率：图像经过处理，最大边长为640像素，并填充到640×640的分辨率，填充颜色为（127127127）。
马赛克数据增强、随机90度旋转和颜色增强等增强进一步将AP提高了2。

结论
YOLO-NAS Pose是目前最好的姿势估计模型之一。在本文中，我们简要介绍了各种模型，了解了YOLO-NAS Pose模型体系结构和AutoNAC，并使用SuperGradients进行推理。