CLIP 调试过程中遇到的问题及解决方案

一、clip_model, _ = clip.load("ViT-B/16", device='cpu')加载时间过长或卡死

【描述】

运行过程中不发生报错，但一直等不到程序的反应，于是debug了一下，发现卡在clip.load().

【我的解决方案】

参考文章CLIP加载模型时因网络问题报错的一个解决方案 - 知乎 (zhihu.com)

（内含各clip模型下载地址）

（1）将pt文件下载到本地，我下载的是ViT-B-16.pt，pt文件名字不需要更改，也改不了

（2) 更改脚本，download_root指定一下存放pt文件的根目录路径，我这里存在了clip目录下

clip_model, _ = clip.load("ViT-B/16", device='cpu',download_root="XXX/CLIP")

二、model.to(device)

【描述】

debug，又又又卡在model.to(device)

【我的解决方案】

环境问题，更新torch版本

（1）print(torch.version.cuda)，输出现在安装的cuda版本为11.0

（2) 命令行 nvidia-smi 显示cuda驱动12.3，安装的cuda版本不得高于这个版本

（3）通过官网Start Locally | PyTorch下载最新12.1cuda对应的torch

（4）print(torch.version.cuda)验证一下输出的cuda版本是否更新

这里我犯迷糊了：

我寻思着，pytorch、cuda版本不是得对应嘛？那我不得先下载cuda12.1~12.3,再更新pytorch?

不需要！！因为pytorch自带cuda和cudnn