1、训练数据 (很关键用于理解paf)
训练数据集为coco,该数据集中包含了人体keypoint的坐标、类型信息。根据keypoint信息来生成part和paf的训练样本。
part的训练样本:令S*j,k为person k的第j part的confidence map。xj,k为第k个人的第j个part的groundtruth坐标信息。对于S*j,k 位置p的value,如下定义:
sigma是用来控制分布的参数,最终用于训练part的groundtruth confidence map是对各人的confidence map进行求最大操作。
这样的话,如果有两个不同的人的相同关节比较靠近,它们的最大值也不会受到影响(因为最终是用非最大抑制(NMS)算法来获得峰值作为关节位置)。这样我们最终得到的groundtruth confidence map S* ∈Rw*h*19作为part的训练样本。其中包含18个part和1个背景。
paf的训练样本:一共定义了19个连接,对于每一个连接,都包含了x方向和y方向的信息。令L*c,k∈Rw*h*2为person k的第c limb的groundtruth paf。该limb对应于part j1和part j2,对于L*c,k上位置p,如果p在limb c上,如下定义:
L*c,k[xp,yp,2*c]= (x2- x1)/ [ (x2- x1)2+ (y2- y1)2]1/2
L*c,k[xp,yp,2*c+1]= (y2- y1)/ [ (x2- x1)2+ (y2- y1)2]1/2
如果p不在limb c上: