论文复现--VideoTo3dPoseAndBvh(视频转BVH和3D关键点开源项目)

分类：动作捕捉
github地址：https://github.com/HW140701/VideoTo3dPoseAndBvh
所需环境：
Windows10，CUDA11.6，conda 4.13.0；

环境搭建

# 创建环境
conda create -n VideoTo3dPoseAndBvh python=3.8
conda activate VideoTo3dPoseAndBvh

# 代码项
git clone https://github.com/HW140701/VideoTo3dPoseAndBvh
cd VideoTo3dPoseAndBvh-master

# 安装pytorch
pip install "torch-1.13.1+cu116-cp38-cp38-win_amd64.whl"# 离线安装 需要预先下载
pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116

# 安装torchsample
pip install -e git+https://github.com/ncullen93/torchsample.git#egg=torchsample
pip install visdom -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install nibabel  -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install h5py   -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装其余项
pip install tqdm   -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install pandas  -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple

conda list

# packages in environment at D:\Anaconda3\envs\VideoTo3dPoseAndBvh:
#
# Name                    Version                   Build  Channel
ca-certificates           2023.05.30           haa95532_0
certifi                   2023.7.22                pypi_0    pypi
charset-normalizer        3.2.0                    pypi_0    pypi
colorama                  0.4.6                    pypi_0    pypi
contourpy                 1.1.0                    pypi_0    pypi
cycler                    0.11.0                   pypi_0    pypi
fonttools                 4.42.1                   pypi_0    pypi
h5py                      3.9.0                    pypi_0    pypi
idna                      3.4                      pypi_0    pypi
imageio                   2.31.3                   pypi_0    pypi
importlib-resources       6.0.1                    pypi_0    pypi
jsonpatch                 1.33                     pypi_0    pypi
jsonpointer               2.4                      pypi_0    pypi
kiwisolver                1.4.5                    pypi_0    pypi
libffi                    3.4.4                hd77b12b_0
matplotlib                3.7.2                    pypi_0    pypi
networkx                  3.1                      pypi_0    pypi
nibabel                   5.1.0                    pypi_0    pypi
numpy                     1.24.4                   pypi_0    pypi
opencv-python             4.8.0.76                 pypi_0    pypi
openssl                   3.0.10               h2bbff1b_2
packaging                 23.1                     pypi_0    pypi
pandas                    2.0.3                    pypi_0    pypi
pillow                    10.0.0                   pypi_0    pypi
pip                       23.2.1           py38haa95532_0
pyparsing                 3.0.9                    pypi_0    pypi
python                    3.8.17               h1aa4202_0
python-dateutil           2.8.2                    pypi_0    pypi
pytz                      2023.3.post1             pypi_0    pypi
requests                  2.31.0                   pypi_0    pypi
scipy                     1.10.1                   pypi_0    pypi
setuptools                68.0.0           py38haa95532_0
six                       1.16.0                   pypi_0    pypi
sqlite                    3.41.2               h2bbff1b_0
torch                     1.13.1+cu116             pypi_0    pypi
torchaudio                0.13.1+cu116             pypi_0    pypi
torchsample               0.1.3                     dev_0    <develop>
torchvision               0.14.1+cu116             pypi_0    pypi
tornado                   6.3.3                    pypi_0    pypi
tqdm                      4.66.1                   pypi_0    pypi
typing-extensions         4.7.1                    pypi_0    pypi
tzdata                    2023.3                   pypi_0    pypi
urllib3                   2.0.4                    pypi_0    pypi
vc                        14.2                 h21ff451_1
visdom                    0.2.4                    pypi_0    pypi
vs2015_runtime            14.27.29016          h5e58377_2
websocket-client          1.6.2                    pypi_0    pypi
wheel                     0.38.4           py38haa95532_0
zipp                      3.16.2                   pypi_0    pypi

配置内容

1.手动创建outputs\outputvideo文件夹
2.VideoTo3dPoseAndBvh-master\joints_detectors\Alphapose\fn.py 第9行注释掉

3.VideoTo3dPoseAndBvh-master\joints_detectors\Alphapose\gene_npz.py 第100 104 107 按以下修改分隔符

4.VideoTo3dPoseAndBvh-master\videopose.py 第332行 按以下修改分隔符及视频名称
5.下载原始依赖文件

演示

原始VideoTo3dPoseAndBvh-master\outputs\inputvideo下的视频 (已替换原始cxk视频 个人不喜欢跟风玩烂梗)

只需执行推理程序即可

python videopose.py

参数修改请修改videopose.py脚本

生成文件说明

• VideoTo3dPoseAndBvh-master\outputs\inputvide\outputvideo\alpha_pose_kunkun_cut_one_second\3dpoint的txt文件 ——每帧的3D关节点坐标

• 

• VideoTo3dPoseAndBvh-master\outputs\inputvide\outputvideo\alpha_pose_kunkun_cut_one_second\bvh的bvh文件——mocap文件可与其他程序共用

• 

• 比如用MB和unity处理bvh驱动动画角色 但是效果并不好

• 

• VideoTo3dPoseAndBvh-master\outputs\outputvideo\alpha_pose_kunkun_cut_one_second\vis的jpg文件——每一帧的姿态估计结果 可用im2gif.py(自己写的)脚本生成为gif

• 

• VideoTo3dPoseAndBvh-master\outputs的test_3d_output.npy文件——所有的3D关节点坐标

• 

其余功能尚未发现 虽然捕捉效果不好 深度估计的不好并且抖动严重 但是方法值得借鉴