前期背景
linux服务器(ubuntu)不能访问huggingface官网,且与本地个人电脑是局域网。
从huggingface下载模型时,先用个人电脑下载(可访问huggingface官网),然后上传到服务器对应位置
- 个人电脑win10默认模型储存地址:C:\Users\用户名.cache\huggingface\hub\
- 服务器默认模型储存地址:~.cache\huggingface\hub
存在的问题
- 直接在huggingface官网下载模型需要一个一个点,得到单独文件,如下所示
- 且无法生成标准文件夹路径,标准格式如下
当然,可以通过修改代码的模型路径解决(可参考之前的文章,但是有时也比较麻烦,下面介绍不修改代码,直接下载完成文件上传到对应位置的方法。
利用snapshot_download下载标准格式的文件
参考官方链接Download files from the Hub
snapshot_download将全部文件下载完成后,返回一个标准文件路径,当然查看本地路径(C:\Users\用户名.cache\huggingface\hub\),也可知道标准文件夹的样式
from huggingface_hub import snapshot_download
# 下方snapshot_download会下载google/owlvit-base-patch32的所有文件
# 并返回snapshot的文件夹路径:snapshot_folder
snapshot_folder = snapshot_download(repo_id="google/owlvit-base-patch32")
print(snapshot_folder) #
最终将win10电脑hub中的models–google–owlvit-base-patch32文件夹上传到ubuntu中的hub中即可
snapshot_download全部下载之后才能返回文件夹路径,所以可以利用hf_hub_download()下载单独文件,也能获得标准文件路径(适合不下载大模型,就可获得标准文件夹路径)
pointer_path = hf_hub_download(repo_id="google/owlvit-base-patch32", filename="config.json"))
print(pointer_path)
clash无法代理部分win10软件的问题
打开“clash-设置-系统代理-指定协议(windows系统)部分软件”,即可解决win10中pycharm无法代理的问题