DensePose阅读笔记

论文贡献：

1.数据集的制作：通过收集SMPL模型和COCO数据集中出现的人之间的密集对应关系的数据；

2.通过训练基于CNN的系统，实现了“in thewild”的图像上像素点到人体3维图的密集对应；

3.提出了一个新的方法来训练模型；通过每张图像的随机采样作为一个子集，来训练一个教练网络（teacher network），来作为图像中其他像素的监督；

2.数据集的介绍：DensePose-COCO Dataset

2.1 Annotation System（注释系统）

第一阶段，注释者标注身体的部位区域，包括：头、躯干、上臂/下臂、小腿/大腿 、手、脚；（为了使用简化的UV参数化，将部件设计为与平面同构，将肢体和躯干分为上下和前后两个部分），

第二阶段，对每个部位进行采样，通过k-means方法来获得一组大致等距的点，注释者将这些点与表明相对应；

2.2Accuracy of human annotators（注释系统的准确率）

i:准确的人体表明点， ：注释系统标注的点，：策略两个点之间的距离（the geodesic distance）

2.3Evaluation Measures

方法1：Pointwise evaluation（逐点评估），

方法2：Per-instance evaluation（对每个实例单独评估）

geodesic point similarity (GPS)：

3.模型训练

3.1Fully-convolutional dense pose regression

第一步：分类任务；对像素点进行分类，论文中将像素点分为25类（一类为背景）

第二步：回归；训练24个回归模型，计算出像素在身体部位的精确位置

3.2Region-based Dense Pose Regression

 3.3Multi-task cascaded architectures

3.4Distillation-based ground-truth interpolation

观察发生，通过在原始未标注的位置添加关键点，模型可以取得更好的效果；（增加各个部位的标注点）