深度学习Tricks,第一时间送达
YOLO-Pose是一种新的无Heatmap联合检测方法,是基于YOLOv5目标检测框架的姿态估计。
论文:https://arxiv.org/abs/2204.06806
代码1:https://github.com/TexasInstruments/edgeai-yolov5
代码2:https://github.com/TexasInstruments/edgeai-yolox
现有的基于Heatmap
的两阶段方法并不是最优的,因为它们不是端到端训练的,且训练依赖于替代L1损失,不等价于最大化评估度量,即目标关键点相似度(OKS)。
YOLO-Pose可以进行端到端训练模型,并优化OKS度量本身。该模型学习了在一次前向传递中联合检测多个人的边界框及其相应的二维姿态,从而超越了自上而下和自下而上两种方法的最佳效果。
YOLO-Pose不需要对自底向上的方法进行后处理,以将检测到的关键点分组到一个骨架中,因为每个边界框都有一个相关的姿态,从而导致关键点的固有分组。与自上而下的方法不同,多个前向传播被取消,因为所有人的姿势都是局部化的。
YOLO-pose在COCO验证(90.2%AP50)和测试开发集(90.3%AP50)上获得了新的最先进的结果,在没有翻转测试、多尺度测试或任何其他测试时间增加等Trick的情况超过了所有现有的自底向上的方法。本文中报告的所有实验和结果都没有任何测试时间的增加,而不像传统的方法使用翻转测试和多尺度测试来提高性能。
YOLO-pose基于YOLOv5目标检测框架,也可以扩展到其他框架。YOLO-pose也在YOLOX上在有限程度上进行了验证。
YOLO-Pose方法:
检测效果图: