参考链接:
github链接
运行wonder3d
为什么跑?
wonder3d生成的单视图转多视图的图片分辨率太低256x256,era3d有512x512
怎么跑?
其实完全可以参照github,基本没有坑。
但我之前安装过cuda11.7(注意不是torch的cuda11.8),同时也安装过tiny-cuda-nn。所以不用执行第四块的第一行代码。
运行ui的demo,或者直接执行运行代码。
conda create -n Era3D python=3.9
conda activate Era3D
# 一般都先安torch
pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 --index-url https://download.pytorch.org/whl/cu118
# 安装xformers
pip install xformers==0.0.23.post1
# 本地cuda加速库,还是conda的cuda加速库,我之前在wonder3d弄过,但是11.7会不会影响?
pip install git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch
# 使用的原来的,如果再次执行这个命令会冲突12.1和11.7,pytorch版本的cuda为啥变成12.1?是因为xformer刚开始执行错了==0.0.23吗?
pip install git+https://github.com/NVlabs/nvdiffrast
# 安装相关包
pip install -r requirements.txt
# 直接运行有ui的demo
python app.py # 缺少fire,space(ModuleNotFoundError: No module named 'setuptools.command.bdist_wininst',
#包不兼容,还是window?其实是spaces,然后example文件夹中不能有文件夹。)
# 使用代码运行
python test_mvdiffusion_unclip.py --config configs/test_unclip-512-6view.yaml \
pretrained_model_name_or_path='pengHTYX/MacLab-Era3D-512-6view' \
validation_dataset.crop_size=420 \
validation_dataset.root_dir=examples \
seed=600 \
save_dir='mv_res' \
save_mode='rgb' # 问题出现了,torch的cuda是12.1,torchvision是11.8,重新卸载再下载即可;
#新问题:ValueError: unet/mvdiffusion.models.unet_mv2d_condition.py as defined in
#`model_index.json` does not exist in pengHTYX/MacLab-Era3D-512-6view and is not a module in 'diffusers/pipelines'.
#解决办法:下载huggingface的权重,执行python代码。
from huggingface_hub import snapshot_download
snapshot_download(repo_id="pengHTYX/MacLab-Era3D-512-6view", local_dir="./pengHTYX/MacLab-Era3D-512-6view/")
可能遇到的问题:下载慢甚至没法下载,需要代理。
效果展示
15个例子,20G显存,3090,等了好一会,风扇一直转个不停。