拷贝 hugging face 仓库到 colab

16 篇文章 0 订阅
14 篇文章 2 订阅
# 挂在谷歌云硬盘
from google.colab import drive
drive.mount('/content/drive')
# 转到文件夹
import os
os.chdir('/content/drive/MyDrive/')
!pwd
# 安装并引入包
!pip install gradio bypy huggingface_hub
import os
import shutil
from huggingface_hub import snapshot_download
from bypy import ByPy
def copy_data(source_directory,target_directory):
  for entry in os.scandir(source_directory):
        if entry.is_dir():
            # 如果是目录,则递归复制子目录
            subdirectory = os.path.join(target_directory, entry.name)
            os.makedirs(subdirectory, exist_ok=True)
            copy_data(entry.path, subdirectory)
        else:
            # 如果是文件,则直接复制到目标目录
            shutil.copy2(entry.path, target_directory)

def download(repo_id):
    source_directory = snapshot_download(repo_id=repo_id, cache_dir="/app/data/", force_download=True)
    print("文件路径:", source_directory)
    path_name = repo_id.replace("/", "---")
    target_directory = f"{os.getcwd()}/download/{path_name}"

    os.makedirs(target_directory, exist_ok=True)  # 创建目标目录,如果目录已存在则不会报错

    copy_data(source_directory, target_directory)
    print("复制路径:", target_directory)

    return target_directory
repo_id = "hfl/chinese-roberta-wwm-ext-large"
out_path = download(repo_id)

repo_id:
在这里插入图片描述

参考:
如何将 huggingface上的模型文件下载到本地
hugggingface_download.ipynb

  • 8
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值