MMPose学习笔记1

MMPOSE概述

MMPOSE是一款基于 Pytorch 的姿态估计开源工具箱，包含了丰富的 2D 多人姿态估计、2D 手部姿态估计、2D 人脸关键点检测、133关键点全身人体姿态估计、动物关键点检测、服饰关键点检测等算法以及相关的组件和模块，总的来说解决的是关键点预测的问题

MMPOSE的输入输出

图片 --> transform --> model --> bbox & keypoints

MMPOSE的开箱即用的场景

动物躯体关键点检测

2D 脸部图片关键点识别

2D 手部图片关键点识别

2D 人体姿态关键点识别

HR NET的一些发现​​​​​​​

在HRNet中，特征图的分辨率是由高分辨率分支提供的，而这些特征图中的每个像素都包含了全局信息和局部信息，这些信息可以帮助HRNet在对目标进行检测时识别更多的关键点。与传统的卷积神经网络(CNN)不同，HRNet使用的是一种新型的多分支模型，它可以在多个分辨率下同时操作，同时通过自适应池化来合并每个分支中的特征图，从而得到更加丰富和全面的特征表示。但是试验后发现HR NET只能提取一个obj的关键点，需要先通过object detection分割出不同obj后再放入keypoint网络中才有好的效果，其实HR NET也可以做目标检测，考虑通过HR NE提特征再通过不同的HEAD去做预测最后输出多个obj的keypoints