linux服务器端配置huggingface模型

前期背景

linux服务器(ubuntu)不能访问huggingface官网,且与本地个人电脑是局域网。

从huggingface下载模型时,先用个人电脑下载(可访问huggingface官网),然后上传到服务器对应位置

  • 个人电脑win10默认模型储存地址:C:\Users\用户名.cache\huggingface\hub\
  • 服务器默认模型储存地址:~.cache\huggingface\hub

存在的问题

  • 直接在huggingface官网下载模型需要一个一个点,得到单独文件,如下所示
    在这里插入图片描述
  • 且无法生成标准文件夹路径,标准格式如下
    在这里插入图片描述
    当然,可以通过修改代码的模型路径解决(可参考之前的文章,但是有时也比较麻烦,下面介绍不修改代码,直接下载完成文件上传到对应位置的方法。

利用snapshot_download下载标准格式的文件

参考官方链接Download files from the Hub

snapshot_download将全部文件下载完成后,返回一个标准文件路径,当然查看本地路径(C:\Users\用户名.cache\huggingface\hub\),也可知道标准文件夹的样式

from huggingface_hub import snapshot_download
# 下方snapshot_download会下载google/owlvit-base-patch32的所有文件
# 并返回snapshot的文件夹路径:snapshot_folder 
snapshot_folder = snapshot_download(repo_id="google/owlvit-base-patch32")
print(snapshot_folder)  # 

最终将win10电脑hub中的models–google–owlvit-base-patch32文件夹上传到ubuntu中的hub中即可

snapshot_download全部下载之后才能返回文件夹路径,所以可以利用hf_hub_download()下载单独文件,也能获得标准文件路径(适合不下载大模型,就可获得标准文件夹路径)

pointer_path = hf_hub_download(repo_id="google/owlvit-base-patch32", filename="config.json"))
print(pointer_path)

clash无法代理部分win10软件的问题

打开“clash-设置-系统代理-指定协议(windows系统)部分软件”,即可解决win10中pycharm无法代理的问题

在这里插入图片描述

  • 10
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值