深度学习---关键点检测

前言

前面介绍了分类、目标检测、分割以及一些常见模型和实现，这一篇接着介绍关键点检测的相关深度学习方法。已经有一些文章记录了关键点在不同领域的应用，比较详细介绍了人脸检测和骨骼点检测方面的一些论文，其他还有手势识别、服饰关键点检测等应用，这些大都是按照某一个方面的应用进行整理的，这里我按照个人的一些理解（不一定对，如果有错误或者补充各位大佬可以提醒下）将关键点检测分为基于坐标值回归、实例分割和热力图三个方面，并简单介绍常见的网络模型、数据集和评价指标。

一、基于坐标值回归的方法

这种方式比较直接，通过特征提取后，最后直接利用全连接层回归出关键点的坐标值。

1. Deep Convolutional Network Cascade for Facial Point Detection

Paper: https://sci-hub.hkvisa.net/10.1109/cvpr.2013.446
Code: https://github.com/zhaoyuzhi/Deep-Convolutional-Network-Cascade-for-Facial-Point-Detection
作者提出了拥有三个层级的级联卷积神经网络，最终输出10维向量分别表示人脸的五个关键点信息。

2. Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks（MTCNN）

Paper: https://arxiv.org/ftp/arxiv/papers/1604/1604.02878.pdf
Code: https://github.com/BrightXiaoHan/FaceDetector
MTCNN是一种包含P-Net, R-Net和O-Net三个级联的多任务卷积神经网络，可以同时处理人脸检测和人脸关键点定位问题（人脸位置和关键点存在联系）。

二、基于实例分割的方法

这种方法基于实例分割的思路，每个实例都对应了各自的关键点，避免了多目标关键点检测时的配对问题。

1. Mask R-CNN

Paper: https://arxiv.org/pdf/1703.06870.pdf
Code: https://github.com/facebookresearch/Detectron 姿态估计：https://github.com/Superlee506/Mask_RCNN_Humanpose 服饰关键点检测：https://github.com/Hellcatzm/Mask_RCNN
相比于之前实例分割里面说到的，这里的区别是更换了输出Head，即把mask分支更换为关键点分支即可。

在实现上每一个关键点转换为COCO格式，由3个值组成：横坐标x，纵坐标y，状态v。每一个关键点使用一个56*56的掩码表示，大部分位置为0，仅关键点位置为1。

三、基于热力图的方法

Heatmap将每一个关键点坐标用一个概率图来表示，对图片中的每个像素位置都给一个概率，表示该点属于对应类别关键点的概率。
通常采用的是距离关键点位置越近的像素点的概率越接近1，距离关键点越远的像素点的概率越接近0（如Gaussian等）。

1. Robust Facial Landmark Detection via a Fully-Convolutional Local-Global Context Network（PFLD）

Paper: https://www.ce.cit.tum.de/fileadmin/w00cgn/mmk/Verschiedenes/cvpr2018.pdf
Code: https://github.com/ashxjain/Robust-Facial-Landmark 主页：https://www.ce.cit.tum.de/mmk/cvpr2018/
PFLD处理灰度图，通过堆叠卷积提取局部特征，然后利用空洞大卷积提取全局特征，最后输出的关键点融合了局部和全局特征。

2. Stacked Hourglass Networks for Human Pose Estimation

Paper: https://arxiv.org/abs/1603.06937
Code: https://github.com/zhoujinhai/Stack_HourGlass
提出一种类似沙漏的堆叠网络结构，并利用该网络进行单人姿态估计。


该模型只能对单人进行关键点检测。

3. Associative Embedding: End-to-End Learning for Joint Detection and Grouping

针对Stacked Hourglass只能检测单人关键点问题，提出了Associative Embedding用于解决多目标关键点配对问题。每一个关键点都对应一个embedding值用于后续配对，配对采用的是Munker算法。

四、常见评价指标

1. PEL（Point-to-point Error for Landmark）

PEL验证关键点检测的准确性

2. APE（Average Point-to-Point Errors）

APE衡量点对点误差的分散程度。

其中L表示每幅图像的关键点总数。

3. PCK（Percentage of Correct Keypoints）

PCK指标指正确检测的关键点所占百分比。

其中\(d_{pi}\)表示第p个人第i个关键点真实值和预测值的欧氏距离, \(T_k\)表示给定的阈值，\(d_{p}^{def}\)表示第P个人的尺度因子

4. OKS（Object Keypoint Similarity）

OKS指标受目标检测中的IoU指标启发，用于评估计算真值和预测人体关键点的相似度

其中\(d_{pi}\)表示第p个人第i个关键点真实值和预测值的欧氏距离，\(S_p\)表示当前人的尺度因子，这个值可以用此人真实目标框所占面积的平方根。\(\sigma_i\)表示第i个关键点真实标注的标准差，\(v_{pi}\)表示第p个人的第i个关键点是否可见，\(\delta\)用于统计可见点的个数。

最后

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

五、面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】