weixin_71600127的博客

原创 关于Ai运行model启用GPU——PyTorch与CUDA

摘要：解决大模型运行时提示使用CPU且CUDA未启用的问题，通常是因显卡CUDA版本与PyTorch不匹配。解决方法包括：1)安装accelerate库优化加载；2)通过nvidia-smi查询CUDA版本；3)在PyTorch官网下载匹配的CUDA版本(如12.6)；4)安装对应版本的PyTorch；5)用代码检查GPU是否启用。关键要确保CUDA版本与PyTorch兼容，避免出现"Torch not compiled with CUDA enabled"错误。