【问题记录】在载入ChatGLM3大语言模型时出现无法读取CUDA驱动的问题

最新推荐文章于 2024-04-29 17:55:25 发布

绝痕

最新推荐文章于 2024-04-29 17:55:25 发布

阅读量577

点赞数 6

文章标签：语言模型 python 人工智能

本文链接：https://blog.csdn.net/JueHenDaDa/article/details/134606598

版权

问题：在我安装完成官方提供的标准库文件，在加载预训练模型的时候出现异常"Torch not compiled with CUDA enabled"

问题来源：我在查看包中，确实有正常安装Torch包，但是如果需要Torch支持CUDA驱动的，需要安装特定版本的包的，通过"pip install torch"直接安装的Torch包无法支持CUDA，可以通过执行以下脚本查看当前的torch版本是否支持

import torch
print(torch.__version__)
print(torch.version.cuda)

# 无法使用cuda显示的结果例：
    # 2.1.1+cpu 
    # None

# 正常使用cuda显示的结果例：
    # 2.1.1+cu121
    # 12.1

解决方案：通过指定版本和指定的网站来下载Torch的特定版本

pip install torch==2.1.1+cu121 -f https://download.pytorch.org/whl/torch_stable.html
或
pip install torch==2.1.1+cu121 -f https://download.pytorch.org/whl/torch/

两个网址都支持下载，也可以单独进入网站去找一找是否有符合你需要的版本

会自动执行下载安装，安装完成后可以再次运行上面的脚本查看结果，如果正常显示结果，那么这个问题就解决了