安装detectron2
pip install -U torch==1.5 torchvision==0.6 -f https://download.pytorch.org/whl/cu101/torch_stable.html
IUV到底是DensePose的哪一步的结果啊?
Body surface的UV parametrization到底是对什么做的,怎么做的?
是对surface part做的,还是对已经映射到3D mesh上的每个图像像素做的,也就是每个part对应一个UV像素还是每个mesh上的像素对应一个UV像素。
最右边图的意思,是对surface进行分块和UV参数化
和DensePose-RCNN回归出的一致性(regressed correspondence)不一样
干了个啥事呢?
Dense human pose estimation aims at mapping all human pixels of an RGB image to the 3D surface of the human body. 把图像的像素mapping到3D human body的3D surface上面。
在他们的主页上,主要有两点贡献,
- 在COCO数据集(50K images)的基础上,通过手工标注manually annotated引入一个DensePose-COCO数据集。这个数据集是:A large-scale ground-truth dataset with image-to-surface correspondences(具有image-to-surface的correspondences的ground-truth).
- 提出了一个网络结构的变种,叫DensePose-RCNN, 是Mask-RCNN的变种。to densely regress part-specific UV coordinates within every human region at multiple frames per second.用来回归针对part的UV坐标(坐标在每个human region内这个应该是指回归出3D mesh的每个part的UV坐标,还是原来图像的 x x x, y y y坐标点对点的映射到 u u u, v v v坐标),可以同时每秒中处理多个frames.
DensePose-RCNN的实现借助了facebook的Detectron框架和Caffe2
.
理论基础
工程配置过程
- 安装
caff2e和DensePose
- 使用
python2
- 使用
caffe2
,很多其他的standard Python packages
, 还有一个关于数据库的APIthe COCO API
- 它这里这个
Detectron
的兼容性在CUDA 8.0
和cuDNN 6.0.21
上验证过.
- 使用
# 我现在的环境里是:conda install pytorch-nightly -c pytorch
conda install pytorch-nightly -c pytorch
这个用的是:Caffe2 with CUDA 9 and CuDNN 7 support: