在使用GPU推理是遇到这个问题:
RuntimeError: “addmm_impl_cpu_” not implemented for ‘Half’
尝试重新安装gpu版本的torch,没有解决,还是报错,但是内置环境是gpu版本的torch,这点应该是没错的,需要有这样的环境。
安装gpu版本的torch的命令,例如:
pip install torch2.0.0+cu118 torchvision0.15.1+cu118 torchaudio==2.0.1 --index-url https://download.pytorch.org/whl/cu118
然后去检查了脚本代码,发现没有指定用gpu来跑,于是添加一句model.to(‘cuda’),结果就不会用cpu去跑了,对于必须用cpu去跑的小伙伴,以后如果知道解决方案,再添加进来。