一、基本任务
给定一张图像,预测出图像中每个人的关键点位置。即定位关键点,并判断关键点属于哪个person。(图中每个人的关键点为17个)
二、研究意义
人体姿态估计应用广泛,包括动作识别、行人跟踪、人机交互、智能照片编辑等
三、主要方法
注:研究人体关键点之间的几何约束和结构关系,可以提高性能。
1.top-down自上而下
(1)思路:两阶段,首先检测人,然后对每个检测到的人进行单人姿态估计。
**(2)优点和缺点:**优点是精度更高,缺点是效率更低,速度慢。
注:改进思路:从热图中定位关键点,细化姿态估计,数据增强,结合检测、分割和姿态估计的多任务学习架构,以及处理遮挡问题
2.bottom-up 自下而上
**(1)思路:**单阶段,直接回归出每个人关键点的位置。(或者是:先回归出图像中所有人的关键点位置,然后再将关键点按人分组)
**(2)优点和缺点:**优点是效率更高,速度快,缺点是精度不高。
四、当前问题
寻求一种算法,在解决人体姿态估计时,拥有精度和效率两种优势。
五、解决思路
作者认为,在自下而上的方法中,要想精确回归出图像中人物的关键点位置,需要重点关注关键点所在的区域,从关键点区域中学习到关键点位置。即想要回归出哪个关键点,我们就着重关注该关键点所在的区域。
(之前的自下而上方法是,对于图像中人物的每个像素,我们都回归出该像素位置到各个关键点位置的偏移量,因此这种方法没有关注各个关键点本身所在的区域)
六、方法概述
1.本文采用自适应卷积,去激活关键点所在区域的像素。然后从这些激活的像素中进行学习,从而得到对应关键点位置。这样做是让我们集中关注各个关键点所在区域。(采用自适应卷积后,有效提高精度)
2.将一个关键点的回归与其他关键点分离。即通过多分支结构,采用单独的回归方案,每个分支学习一个关键点的表示,该分支具有专用于该关键点的自适应卷积,并回归关键点的位置。(采用多分支独立回归结构,有效提高精度)
七、具体实现
原理解释:
给定输入的图片I,提出一种算法DEKR(Disentangled Keypoint Regression),直接回归得到图片中每个人物的关键点。一个人身上有17个关键点。
之前自下而上的算法处理是,一个人身上的17个关键点,用一个网络分支进行得到。本文是一个人身上的17个关键点,分别用17个分支得到。
用单个分支来得到一个人身上的17个关键点原理是,对于主干网络输出的特征图X,X中的每个像素q,我们的单分支网络会得到该像素q到17个关键点的偏移向量Oq。那么对X中的所有像素进行处理时,我们会得到许多个Oq。再对这么多个Oq进行处理后,即可得到17个关键点的位置。但是呢,这种方法回归出的关键点位置不够准确。
因此,提出一个关键点位置的回归使用一个分支。原理是,将主干网络输出的特征图划分成17个部分X1,、X2…X17,每个部分用于得到各自的关键点位置。对X1中的某个像素q,此时分支得到该像素到区域1中几个点的偏移向量,只不过这几个点都在关键点1附近。因此,分支对X1处理后的结果是,X1中所有像素到区域1中几个点的偏移向量,就像图4中的b-e。其他分支处理结果类似。
网络处理过程:
主干网络采用HRNet,用于提取图片的特征图,供后面多分支结果使用。对于主干网络输出的特征图,划分成17个分区,各分区互不重叠。再分别用17个分支进行处理,回归出17个关键点。
每个分支由2个自适应卷积和1个正常1*1卷积组成。2个自适应卷积,可以从分区中学习一个关键点的表示;1×1卷积回归每个关键点的2D偏移量。
1.网络怎么关注各个关键点所在的区域?
答:自适应卷积
2.网络如何回归各个关键点的位置?
答:多分支独立回归,即每个关键点的回归对应了一个分支。
3.自适应卷积的实现原理?
答:以33卷积为例,正常卷积是特征图中33方块和卷积核对应相乘,此时图像中的33方块是连续的。而自适应卷积中,特征图的33方块不是连续的,具体取哪9个位置的值,是自适应的。通过逐像素空间变换网络,可以生成一个22矩阵Aq和一个21平移向量t,通过公式可以生成特征图中9个待取值的位置索引,以此来与卷积核进行卷积操作。
1.对于输入特征图中的每个像素而言,生成对于的矩阵和向量,并以此计算33方块中9个值的位置索引:
Gt表示正常33方块在输入特征图中的位置索引。(相对待处理像素q位置而言)
2.自适应卷积计算:
q表示当前待处理像素在特征图中的2D位置。
八、实现细节
九、实验
1.数据集
(1)COCO
(2)CrowdPose
2.评估指标
3.实验结果
十、论文高光
本文认为要精确回归出关键点位置,需要关注各个关键点所在的区域,因此提出自适应卷积来聚焦各个关键点所在区域。
为了能更好地回归出各个关键点的位置,采用多分支独立回归网络,每个关键点,用一个分支结构进行关键点的回归。
两者结合,在不损失效率的情况下,大幅提高的人体姿态估计的精度。