python-pytorch基础之下载huggingface模型并本地使用,以models--distilbert-base-uncased-finetuned-sst-2-english为例

下载方法一

登录链接https://huggingface.co/distilbert-base-uncased-finetuned-sst-2-english/tree/main
然后git clone即可

git lfs install
git clone https://huggingface.co/distilbert-base-uncased-finetuned-sst-2-english

下载方法二

执行代码下载

mm=AutoModel.from_pretrained("distilbert-base-uncased-finetuned-sst-2-english",from_tf=True)

下载完成后会在目录当前用户所在的.cache/huggingface/hub/models–distilbert-base-uncased-finetuned-sst-2-english下,根据目录refs(或者snapshots里面)和blobs的对应关系修改成对应名字就得到了本地文件,如下
在这里插入图片描述

refs(或者snapshots里面)的内容:

lrwxrwxrwx 1 ma-user ma-group   52 Aug  8 13:56 config.json -> ../../blobs/b57fe5dfcb8ec3f9bab35ed427c3434e3c7dd1ba

lrwxrwxrwx 1 ma-user ma-group   76 Aug  8 13:56 pytorch_model.bin -> ../../blobs/60554cbd7781b09d87f1ececbea8c064b94e49a7f03fd88e8775bfe6cc3d9f88

lrwxrwxrwx 1 ma-user ma-group   76 Aug  8 14:48 tf_model.h5 -> ../../blobs/b44df675bb34ccd8e57c14292c811ac7358b7c8e37c7f212745f640cd6019ac8

lrwxrwxrwx 1 ma-user ma-group   52 Aug  8 14:47 tokenizer_config.json -> ../../blobs/3ed34255a7cb8e6706a8bb21993836e99e7b959f

lrwxrwxrwx 1 ma-user ma-group   52 Aug  8 14:47 vocab.txt -> ../../blobs/fb140275c155a9c7c5a3b3e0e77a9e839594a938

blobs内容
-rw-r----- 1 ma-user ma-group        48 Aug  8 14:47 3ed34255a7cb8e6706a8bb21993836e99e7b959f
-rw-r----- 1 ma-user ma-group 267844284 Aug  8 13:56 60554cbd7781b09d87f1ececbea8c064b94e49a7f03fd88e8775bfe6cc3d9f88
-rw-r----- 1 ma-user ma-group 267949840 Aug  8 14:48 b44df675bb34ccd8e57c14292c811ac7358b7c8e37c7f212745f640cd6019ac8
-rw-r----- 1 ma-user ma-group       629 Aug  8 13:56 b57fe5dfcb8ec3f9bab35ed427c3434e3c7dd1ba
-rw-r----- 1 ma-user ma-group    231508 Aug  8 14:47 fb140275c155a9c7c5a3b3e0e77a9e839594a938

使用本地文件方法

mm=AutoModel.from_pretrained("./distilbert-base-uncased-finetuned-sst-2-english",from_tf=True)
  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值