跑通FlashAvatar和GaussianAvatars

参考链接:

FlashAvatar的github链接
GaussianAvatars的github链接

问题汇总

• 最重要是切换cuda版本为11.6,指定cuda为最高优先级,切换cuda版本参考,选择第二个,然后注意事项开篇已经写了.
• 它内置了安装包,所以需要git clone 3次.表现为:No module named ‘simple_knn‘如何安装内置 包,pip install simple_knn是没用的!!!
• pip的包会下载失败,需要自己手动下载,和安装diff-gaussian-rasterization失败的解决方案

conda env create --file environment.yml # pip的包会下载失败,需要自己手动下载.
sudo apt-get install libglm-dev # 如果遇到第一个报错
pip install submodules/diff-gaussian-rasterization
pip install submodules/simple-knn
pip install scipy
pip install chumpy
pip install scikit-image
pip install opencv-python
pip install ninja
pip install lpips
pip install loguru

• 缺少frame model的解决方案,参考了GaussianAvatars的安装方案,表现为:FileNotFoundError:
  [Errno 2] No such file or directory: ‘flame/generic_model.pkl’,当然也可以在issue中找答案.Flame Model下载链接

Please download flame model to the following paths:
FLAME 2020 -> flame/generic_model.pkl
FLAME Vertex Masks -> flame/FLAME_masks/FLAME_masks.pkl

• 最大问题:测试生成的视频有什么用?它的输入是前景分割图,人脸解析图,人脸追踪.FlashAvatar测试自己的数据集,但生成一个一模一样的视频有啥用?最开始看论文的介绍就有这个疑问.

结语

GaussianAvatars的readme写的很好,尤其是一些conda操作,但是有没有更快速运行的方式,我使用最小的218数据集都是4.7G,下载缓慢,而且没有预训练权重吗?还需要训练完才能推理吗?希望一起探讨.还有就是,英语不好确实恼火,尤其是某个单词在当下语境的含义?
昨天在GaussianAvatars提了上述issue,今天就出了对应demo,作者太给力了.