从huggingface hub 中下载模型或者数据

一如年少模样丶

已于 2023-08-25 20:13:01 修改

阅读量509

点赞数 1

分类专栏：机器学习深度学习文章标签：服务器深度学习自然语言处理人工智能 pytorch

于 2023-08-24 21:15:49 首次发布

本文链接：https://blog.csdn.net/q506610466/article/details/132482780

版权

深度学习同时被 2 个专栏收录

13 篇文章 14 订阅

订阅专栏

机器学习

5 篇文章 1 订阅

订阅专栏

简简单单直接上代码

from huggingface_hub import snapshot_download
# 下载模型
snapshot_download(repo_id = 'THUDM/chatglm2-6b',  
                  repo_type="model",  # 可选 [dataset,model]  
                   local_dir='/home/dev/datasets/glm',# 下载到本地的路径
                     resume_download=True, # 断点续传
                   ) 
# 下载数据
snapshot_download(repo_id = 'BAAI/COIG-PC',  
                  repo_type="dataset",  # 可选 [dataset,model] 
                   local_dir='/home/dev/datasets/COIG-PC',# 下载到本地的路径
                     resume_download=True, # 断点续传
                     token="hf_xxxxxxxxxxxxxx)  # 自己的hf token 不是必须的，仅有一些hub需要