Windows11配置ComfyUI插件MuseTalk

1. 准备工作

1.1 安装git并绑定Github，即Github添加公匙

配置成功后，可以使用ComfyUI-manager自动安装缺失插件，当然手动克隆也不是不行。

详情见​​​​​​GitHub添加公钥（Git绑定GitHub）_怎么在新的git上使用已有的github公钥-CSDN博客

1.2 配置ComfyUI

ComfyUI

值得注意的是，在下载ComfyUI时直接克隆或者下载压缩包都会导致报错，需要往下面划一点看到windows系统的配置教程，或者直接点下面链接ComfyUI压缩包下载，完成后点击run_cpu.bat或者run_nvidia_gpu.bat即可。

1.3 配置ComfyUI-manager

ComfyUI-manger可以实现插件的自动安装，下载压缩包解压后置于\ComfyUI\custom_nodes中即可。

出现右下角的manger和share的按钮即为安装成功。

安装过程中可能会出现如下图的GitPython库安装失败的问题，可能是因为git没有配置好。

2. 配置MuseTalk插件

2.1 手动下载MuseTalk

下载压缩包或克隆到本地即可，同样置于\ComfyUI\custom_nodes文件夹下

MuseTalk

2.2 利用ComfyUI-manager安装

在ComfyUI的界面点击Manager->Install Missing Custom Nodes即可，此时出现安装失败的原因有很多，如果显示

2.3 安装缺失依赖

无论以上哪种方法安装MuseTalk，再次打开ComfyUI时还是会显示不可用。因为有些依赖包并没有写进requirements.txt文件。

此时可以在命令行手动下载，此时执行ComfyUI的python位于python_embeded文件夹中，版本为3.11.8，建议为该python添加环境变量，以方便在命令行中直接安装。

安装可以执行以下命令：

pip install diffusers
pip install mmdet
pip install omegaconf
pip install mmcv>=2.0.0,<2.2.0

不过在执行pip命令时，可能会出现pip不可用的情况，显示fatal error in launcher: Unable to create process using '"' ，如图：此时可以将以上的pip install ...全部替换成以下指令

python -m pip insatll [packagename]

来避免该报错。 

或者将以下内容添加到\ComfyUI\custom_nodes\ComfyUI-MuseTalk下的requirements.txt文件中：

diffusers
mmdet
omegaconf
mmcv>=2.0.0,<2.2.0

这里mmcv可能会安装失败，如图：此处可以参考以下内容Installation — mmcv 2.2.0 documentation ，如果还是不行，就需要考虑降低pytorch版本。pytorch是ComfyUI配置好后自动安装的，但是requirements.txt文档中并没有说明版本，需要自己根据显卡的驱动和Cuda的版本重新安装Start Locally | PyTorch或者在之前版本的torch找一个兼容mmcv>=2.0.0,<2.2.0的版本Previous PyTorch Versions | PyTorch。 在命令行窗口中执行以下命令可以查看自己显卡的驱动版本：

nvidia-smi

 drivier version即为驱动版本，cuda version则是显卡可以支持cuda的最高版本。

执行以下命令可以查看当前环境的torch版本：

python -c 'import torch;print(torch.__version__)'

 在本地安装依赖库的过程中还可能会遇到ModuleNotFoundError: No module named 'aliyunsdkcore' 这里忘记截图了......

解决方法是来自

install.py ModuleNotFoundError: No module named 'aliyunsdkcore' · Issue #381 · aigc-apps/sd-webui-EasyPhoto (github.com)

的指令:

pip install aliyun-python-sdk-core-v3==2.13.10

除此之外musetalk还需要一些模型文件需要配置在本地，在MuseTalk 中可以找到一部分

./models/
├── musetalk
│   └── musetalk.json
│   └── pytorch_model.bin
├── dwpose
│   └── dw-ll_ucoco_384.pth
├── face-parse-bisent
│   ├── 79999_iter.pth
│   └── resnet18-5c106cde.pth
├── sd-vae-ft-mse
│   ├── config.json
│   └── diffusion_pytorch_model.bin
└── whisper
    └── tiny.pt

这里我直接打包放上来

链接：https://pan.baidu.com/s/1gw4ITXQ5wUzqFi1avjKzuw?pwd=1111 
提取码：1111 

 做完这些应该就可以愉快地使用了