openpose脚部标注问题梳理

openpose脚部标注问题梳理

版本

person_keypoints_train2017_foot_v1.zip

person_keypoints_val2017_foot_v1.zip

下载地址

Human Foot Keypoint Datasethttps://cmu-perceptual-computing-lab.github.io/foot_keypoint_dataset/

总结

问题挺多的,如果想要使用此数据集最好先清洗一遍

openpose标注的训练集总数:11065

问题一

训练标注与验证标注格式不同,训练标注将脚部标注与COCO标注相融合,验证标注没有融合

person_keypoints_train2017_foot_v1:

{"segmentation":......,"num_keypoints":13,"area":26215.66095,"iscrowd":0,
"keypoints":[0,0,0,0,0,0,252,156,2,0,0,0,248,153,2,198,193,2,243,196,2,182,245,2,244,263,2,0,0,0,276,285,2,197,298,2,228,297,2,208,398,2,266,399,2,205,475,2,215,453,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0],
"image_id":209468,"bbox":[178.38,120.54,114.59,354.6],"category_id":1,"id":183062}

person_keypoints_val2017_foot_v1

{"segmentation":......,"num_keypoints":14,"area":17702.97795,"iscrowd":0,
"keypoints":[215,485,2,206,479,2,223,451,2,335,492,2,346,489,2,328,455,2],
"image_id":579902,"bbox":[200.03,232.57,182.53,270.8],"category_id":1,"id":191310}

很明显train2017中将新标注的脚部数据和原始的COCO标注融合到一起,

问题二

"segmentation"格式不对

标准COCO格式

{"segmentation": [[267.03,243.78,314.59,154.05,357.84,136.76,374.05,104.32,410.81,110.81,429.19,131.35,420.54,165.95,451.89,209.19,464.86,240.54,480,253.51,484.32,263.24,496.22,271.89,484.32,278.38,438.92,257.84,401.08,216.76,370.81,247.03,414.05,277.3,433.51,304.32,443.24,323.78,400,362.7,376.22,375.68,400,418.92,394.59,424.32,337.3,382.16,337.3,371.35,388.11,327.03,341.62,301.08,311.35,276.22,304.86,263.24,294.05,249.19]],......}

person_keypoints_train2017_foot_v1格式

{"segmentation":[187.03,472.97,192.43,350.81,181.62,335.68,182.7,317.3,180.54,301.08,193.51,293.51,195.68,268.65,178.38,248.11,182.7,216.76,194.59,194.05,210.81,171.35,200,141.08,230.27,120.54,260.54,134.59,257.3,177.84,246.49,186.49,257.3,199.46,254.05,253.51,276.76,281.62,285.41,275.14,292.97,275.14,275.68,291.35,252.97,288.11,286.49,380,288.65,417.84,243.24,475.14,195.68,475.14],......}

查看了很多标准COCO中的segmentation格式,大多数都是一个二维的列表,但是OPENPOSE给出的格式不同,按正常COCO格式进行调用会报错

问题三

关键点数量错误

例:

"image_id": 478636

标准COCO格式

{"segmentation": ......, "num_keypoints":15,"area":11888.2415,"iscrowd":0,"keypoints":[452,139,2,0,0,0,448,135,2,0,0,0,434,136,2,460,160,2,413,167,2,477,184,2,410,186,2,454,197,2,410,208,2,457,239,2,423,240,2,455,295,2,420,295,2,455,348,2,426,352,2,451,351,2,456,350,2,450,347,2,395,351,2,399,350,2,421,350,2],
"image_id":478636,"bbox":[391.89,113.53,87.95,246.47],"category_id":1,"id":185068}

OPENPOSE增加脚部关键点

{"segmentation": ......,"num_keypoints": 15,"area": 11888.2415,"iscrowd": 0,"keypoints": [452,139,2,0,0,0,448,135,2,0,0,0,434,136,2,460,160,2,413,167,2,477,184,2,410,186,2,454,197,2,410,208,2,457,239,2,423,240,2,455,295,2,420,295,2,455,348,2,426,352,2],
"image_id": 478636,"bbox": [391.89,113.53,87.95,246.47],"category_id": 1,"id": 185068}

针对这帧图像的标注,OPENPOSE增加了脚部关键点的内容,却没有增加脚部关键点的数量,这种情况在运行时容易报错,数量对不上,或者无法被学习

问题四

明显的关键点顺序错误

OPONPOSE标准的循序应该如下图,

18: 左脚大拇脚指、19:左脚小拇脚指 、20:左脚脚跟 、21:右脚大拇脚指 、22:右脚小拇脚指 、23:右脚脚跟

但是在查看过程中发现较多左右脚标注错误的情况

 

问题五

明显漏标

"image_id": 478636

验证集中下面这张图明显应该标注,但是OPENPOSE没有标,类似的情况在训练集中应该也有

<think>好的,用户现在问的是OpenPose模型的数据集是如何标注的。我需要先回顾一下之前的历史对话,看看用户之前的问题是什么,以及我之前的回答内容。之前用户询问如何利用DeepSeek大模型训练目标检测和姿态估计模型,我详细介绍了步骤,包括数据准备、模型设计、训练策略等。现在用户转向了OpenPose的数据集标注,可能是在实际应用中遇到了数据准备的问题,或者想深入了解姿态估计的具体实现细节。 首先,我需要确定用户的需求。他们可能是在准备自己的数据集,想要了解标注的标准和方法,或者想确保他们的标注符合OpenPose的要求。也有可能他们正在研究OpenPose的原理,想从数据层面理解其工作机制。此外,用户可能是在对比不同姿态估计模型的标注方式,以便选择适合自己项目的模型。 接下来,我需要回忆OpenPose的相关知识。OpenPose主要使用人体关键点标注,每个关键点对应人体的关节或部位,比如头、肩、肘、手腕等。通常使用的数据集包括COCO和MPII,这些数据集的关键点标注格式可能有所不同,但大致原理相似。COCO数据集有17个关键点,MPII则有16个。每个关键点会有坐标(x, y)和可见性标志,可能分为可见、遮挡和不在图像内三种情况。此外,标注还包括人体实例的边界框,以及关键点之间的连接关系,形成姿态的骨架。 用户可能想知道具体的标注工具和流程,比如是否使用特定的软件,标注的步骤是怎样的,如何处理遮挡或不可见的关键点。此外,他们可能关心标注数据的格式,如JSON文件的结构,如何存储每个关键点的信息,以及如何将这些标注用于训练OpenPose模型。 另外,考虑到用户之前的问题涉及使用大模型进行数据增强和自动标注,可能他们也在考虑如何利用类似技术来生成或优化姿态估计的数据集。例如,使用生成模型合成数据,或者用预训练模型进行半自动标注以减少人工成本。 我需要确保回答覆盖以下几个方面: 1. 关键点的定义和数量(如COCO的17个关键点)。 2. 标注的格式,包括坐标、可见性、边界框。 3. 数据集的常见来源和结构(如COCO、MPII)。 4. 标注工具和流程,如LabelMe、CVAT等。 5. 如何处理特殊情况,如遮挡、截断、多人场景。 6. 标注文件的存储格式(JSON示例)。 7. 标注对模型训练的影响,如准确性和鲁棒性。 同时,需要指出OpenPose在训练时如何处理这些标注,比如生成热图和部分亲和力字段(PAFs)。这部分可能对用户理解整个训练流程有帮助,特别是如何从标注的关键点生成模型所需的训练数据。 还需要考虑用户可能的实际应用场景,比如他们是否在自建数据集,是否需要调整标注标准以适应不同的应用(如体育动作分析、医疗康复等)。因此,可能需要提到标注时的注意事项,比如一致性、多角度覆盖、多样性等。 最后,确保回答清晰、结构化,分点说明,并给出示例,帮助用户更好地理解和应用。</think>OpenPose 是一种广泛使用的 **人体姿态估计模型**,其核心是通过检测人体关键点(如关节、五官等)并构建骨架连接,实现多人姿态估计。其数据集的标注方式遵循姿态估计任务的通用标准,但具有特定细节。以下是 OpenPose 数据集标注的详细介绍: --- ### **1. 关键点定义** OpenPose 使用的标注基于 **人体关键点**,常见格式参考公开数据集(如 **COCO** 或 **MPII**): - **COCO 格式**:17 个关键点,覆盖全身主要关节: ``` 0: 鼻子 1: 左眼 2: 右眼 3: 左耳 4: 右耳 5: 左肩 6: 右肩 7: 左肘 8: 右肘 9: 左手腕 10: 右手腕 11: 左髋关节 12: 右髋关节 13: 左膝 14: 右膝 15: 左踝 16: 右踝 ``` - **MPII 格式**:16 个关键点,标注更密集(如包含头部中心点)。 每个关键点的标注包含: - **坐标 (x, y)**:关键点在图像中的位置。 - **可见性标志**: - `0`:未标注(关键点不在图像中)。 - `1`:标注但不可见(被遮挡)。 - `2`:标注且可见。 --- ### **2. 标注内容** 除了关键点,数据集通常包含以下信息: - **人体实例的边界框**:用于定位目标人物。 - **关键点连接关系**:定义人体骨架(如左肩到左肘、左肘到左手腕)。 - **多人区分**:同一图像中不同人物的关键点需关联到对应实例。 --- ### **3. 常见数据集与标注示例** #### **COCO Keypoints 数据集** - **标注文件格式**:JSON 文件,包含 `annotations` 字段,每个对象的结构如下: ```json { "image_id": 1, "category_id": 1, "keypoints": [x1, y1, v1, x2, y2, v2, ...], // 17个关键点,每个点含x,y,可见性 "bbox": [x, y, width, height], // 边界框 "num_keypoints": 17 // 实际标注的关键点数量 } ``` - **可视化示例**: ![COCO Keypoints标注示例](https://cocodataset.org/images/pose_keypoints_visualization.png) #### **MPII Human Pose 数据集** - 标注格式类似,但关键点顺序不同(如包含头部中心点)。 - 提供人体动作标签(如“跑步”、“举重”),适用于复杂姿态分析。 --- ### **4. 标注工具与流程** #### **常用工具** - **LabelMe**:手动标注关键点并导出为JSON。 - **CVAT**(Computer Vision Annotation Tool):支持多人协作和关键点标注。 - **COCO Annotator**:专为COCO格式设计的在线工具。 - **AI辅助标注**:使用预训练模型(如OpenPose自身)生成初步标注,人工修正。 #### **标注步骤** 1. **绘制边界框**:框出人体实例。 2. **标注关键点**:依次标记每个关节的位置。 3. **设置可见性**:标记遮挡或截断的关键点。 4. **关联多人实例**:区分不同人物的关键点。 5. **导出标注文件**:生成JSON或XML格式文件。 --- ### **5. 特殊场景处理** - **遮挡与截断**:遮挡关键点标记为 `v=1`,截断则标记 `v=0`。 - **多人重叠**:通过边界框和实例ID区分不同人物。 - **复杂姿态**:对非常规动作(如瑜伽姿势)需额外标注说明。 --- ### **6. OpenPose 训练时的标注转换** OpenPose 的训练数据需转换为模型特定的输入格式: 1. **热图(Heatmap)**:为每个关键点生成高斯分布热图,表示位置概率。 2. **部分亲和力字段(PAFs)**:编码关键点之间的连接关系(如手臂、腿部骨架)。 3. **多人分组**:通过PAFs关联不同人体的关键点。 --- ### **7. 标注注意事项** - **一致性**:同一数据集的标注标准需统一(如关键点顺序、可见性定义)。 - **多样性**:覆盖不同姿态、光照、遮挡场景。 - **质量控制**:人工复核标注结果,避免错误累积。 --- ### **示例标注文件(简化版)** ```json { "images": [ { "id": 1, "file_name": "image_001.jpg", "width": 640, "height": 480 } ], "annotations": [ { "image_id": 1, "category_id": 1, "keypoints": [100, 200, 2, 150, 210, 2, ..., 0, 0, 0], // 17个关键点 "bbox": [90, 180, 120, 300], "num_keypoints": 14 // 实际标注了14个可见点(其余3个被遮挡) } ] } ``` --- ### **总结** OpenPose标注核心是 **关键点位置、可见性、多人关联**。实际应用中可借助公开数据集(如COCO)的标注标准,结合工具提高效率。若需自定义数据集,需严格遵循关键点定义和格式,以确保模型训练的兼容性。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值