【VideoPose3D】可视化自定义视频

论文：3D human pose estimation in video with temporal convolutions and semi-supervised training
论文地址：https://openaccess.thecvf.com/content_CVPR_2019/papers/Pavllo_3D_Human_Pose_Estimation_in_Video_With_Temporal_Convolutions_and_CVPR_2019_paper.pdf
代码：https://github.com/facebookresearch/VideoPose3D

这里主要记录了一下我在可视化自定义视频的过程，因为时间间隔的也比较久远了，所以如果有错误也请大家指出来，主要还是参考作者提供的 INFERENCE.md 中的教程。另外我是在linux系统下运行的，pytorch版本是1.7

Step 1

1. 需要安装 ffmpeg ， 可以执行 pip install ffmpeg 或 conda install ffmpeg 进行安装；
2. 下载预训练模型并放到 checkpoint 文件夹中;

Step 2 视频预处理（可选)

这一步我没有做，如果需要的话，可以参考作者提供的教程。

Step 3 使用 detectron 推断 2D 关键点

3.1 安装detectron2

1.首先要满足官方说明的环境依赖，系统，pytorch版本，opencv版本等等，这里就不再详细写了
2.安装需要的包，以及 detectron2

pip install opencv-python
pip install cython
pip install pycocotools

git clone https://github.com/facebookresearch/fvcore
pip install -e fvcore

git clone https://github.com/facebookresearch/detectron2.git
python -m pip install -e detectron2

3.2 推理 2D 关键点

1.在 inference 文件夹中新建两个文件夹 input_directory 和 output_directory
2.执行命令以下命令：

cd inference
python infer_video_d2.py  --cfg COCO-Keypoints/keypoint_rcnn_R_101_FPN_3x.yaml  --output-dir output_directory  --image-ext mp4  input_directory
cd ..

Step 4 创建自定义数据集

注意路径需要替换成你存放的路径，执行完这步之后应该会在 data 文件夹中生成data_2d_custom_myvideos.npz 文件

cd data
python prepare_data_2d_custom.py -i /home/xxx/xxxx/VideoPose3D/inference/output_directory/ -o myvideos
cd ..

Step 5 渲染自定义视频并导出坐标

执行完这一步会生成 output.mp4的视频（当然你也可以让它叫别的名字)，还是注意路径和输入视频的名字要修改成你的

python run.py -d custom -k myvideos -arc 3,3,3,3,3 -c checkpoint --evaluate pretrained_h36m_detectron_coco.bin --render --viz-subject input_video.mp4 --viz-action custom --viz-camera 0 --viz-video /home/xxx/xxxx/VideoPose3D/inference/input_directory/input_video.mp4 --viz-output output.mp4 --viz-size 6

如果需要将视频中的关键点坐标保存起来，可以执行下面的命令，运行完成后可以生成 numpy 的文件

python run.py -d custom -k myvideos -arc 3,3,3,3,3 -c checkpoint --evaluate pretrained_h36m_detectron_coco.bin --render --viz-subject input_video.mp4 --viz-action custom --viz-camera 0 --viz-video /home/xxx/xxxx/VideoPose3D_2/inference/input_directory/input_video.mp4 --viz-export outputfile --viz-size 6

到这里就结束啦，如果detectron2安装成功了，还是在第五步出错，可能是在2D推理或者生成自定义数据集的时候出现了错误，也有可能是视频不合适，可以多试几次第三步和第四步，或者换视频试试。