1.MSA R-CNN
Multi-scale Aggregation R-CNN
MSA RCNN:该网络将关键点定位和人体目标检测整合到一个网络中。该网络的主要创新点为:MS-RoIAlign和MS-KpsNet。网络整体框架如下图所示。
Multi-scale RoIAlign Block
MS-RoIAlign:从多个不同尺度的特征图中获取人体框特征,并聚合。
原始的RoIAlign从单一的特征图上提取proposal,而MSA R-CNN中提出的MS-RoIAlign从多个尺度的空间中提取特征,而不是在单一尺度中提取。这就能提供更多的信息。如下图所示,多个尺度的特征可以增加更多的感受野,使得最终的检测和关键点定位更加准确。
Mutil-scale keypoint head network
MS-KpsNet:将MS-RoIAlign聚合后的人体proposal特征,进行人体关键点热度图预测。
如下图所示,该网络接收由MS-RoIAlign输出的人体框所在区域的特征,该网络由简单的卷积,降采样,上采样,