行为识别学习笔记-第二课（姿态估计）

特征点检测：

特征点是图像处理中的重要概念，在姿态识别、表情识别和手势识别等领域都有重要的作用。

特征点分类：

从数据特点上分，特征点可以分为2D特征点和3D特征点。

特征点评估：

目标检测和图像分割使用交并比衡量结果的好坏，而特征点用的是相似度衡量。

具体的计算方法：

计算出检测出的特征点与GT的欧氏距离，再跟统计的标准差作比较。将结果放在e的指数上，引入非线性因素，最后把所有特征点的计算结果累加起来。

人体姿态估计各特征点标准差大小

是个统计量，可以看出眼睛的最小，臀部的最大。

常用数据集：

可以看出，MPII和MSCOCO是最常用的数据集，特征点的个数是指定的，没有统一的标准。

人体姿态估计的定义：

人体姿态估计是指，从图像或者视频中，定位出人体关键关节点的位置。

人体姿态估计的两大流派：

分为自顶向下和自底向上两大分支。自顶向下是先从图像中识别出一个个人，再对每个人的关节点进行定位；自底向上则是直接从图像中找出关键点，再将这些关键点组合成骨架信息。自顶向下准确度高但速度慢一些，自底向上速度快但是准确性差。目前目标检测进展较快，效率逐渐提高，所以自顶向下逐渐成为了关键点检测的主流方法。

对RCNN的改造：

利用RCNN提出了Mask RCNN。加入了一个Mask的分支，用于分割出人的形状信息。

Mask RCNN的效果

可以看出能提取出人的形状信息。

关键点提取：

对Mask的结果进行进一步处理，用卷积核提取特征信息。最后一层为17，是因为需要提取17个不同的特征点信息，每一层是一个特征点检测结果的热力图。

连线：

最后一步是连线，将各特征点以提前规定好的连接顺序连好。

两种最常用的自顶向下网络： CPN和MSPN

几种目标检测器的特点，每层特征都参与预测优于最后一层特征参与，原图提取特征优于按金字塔缩放后各尺寸图提取特征。

目标检测精度与特征点检测精度之间的关系：

目标检测器在一定范围内会对关键点检测器的性能有影响；

当目标检测的性能已经提升到一定程度之后，关键点检测的性能不再主要依赖于目标检测器。

CPN的思路：

将关键点分为：易识别、难识别和不可见三种。易识别是指皮肤裸露在外的关键点，用小可视域的检测框就能识别。难识别是指被衣服覆盖的关键点，需增加检测的可视域才能识别出，切精度受影响。不可见是指被遮挡的关键点，只能通过其他已检测出的关键点进行推测。

难识别点的个数设置对检测精度的影响

CPN的网络结构：

分为两部分，GlobalNet用于检测易检测点，RefineNet用于检测难检测点。

用到的是L2损失函数。

MSPN的网络结构：

MSPN的效果要比CPN好。MSPN借鉴了循环神经网络，用一套网络结构执行多遍，从而检查出所有的关键点。

几个超参数的测试：

经测试，骨干网用Res-101性价比最高，循环两次性价比最高。

高斯核方面，第一阶段尺寸用7，第二阶段尺寸用5，性能最好。