国内下载国外数据集(库)方案整理

在有外网权限的条件下,使用终端下载下面的数据集时,速度慢的只有十几k,同时过久的下载很可能会中断,导致一直下载失败

中断原因

无论是浏览器还是终端工具(curl,wget),它们都依赖于网络连接来下载文件。如果在下载过程中网络连接不稳定,可能会导致下载中断或文件损坏。这种情况下,下载工具本身并不会有太大的区别,因为它们都受制于相同的网络问题。

解决方案

解决方案一:colab + google drive(有存储容量限制)


使用 colab 将数据集下载到 colab 上,然后再从谷歌网盘上下载。这个方法的限制是网盘大小,如果网盘容量不够可能就得开会员

1、登录 colab
https://colab.research.google.com/
登录账号
2、加载谷歌网盘

from google.colab import drive
drive.mount('/content/drive')

需要验证邮箱
3、进入到谷歌网盘的路径下

cd /content/drive/MyDrive

4.下载数据集

!wget  http://datasets.d2.mpi-inf.mpg.de/MPIIGaze/MPIIFaceGaze.zip -O /content/drive/MyDrive/fresino.zip

解决方案二:下载管理器(失败)

下载管理器通常具有更强大的下载和恢复功能,可以帮助用户更容易地处理中断的下载。尝试迅雷(失败)或者百度网盘的离线下载(失败)

百度网盘怎么建立离线下载-百度经验 (baidu.com)

解决方案三:申请服务器(未尝试)

国内下载国外数据集(库)方案整理 - mkxiong's blog (mingkangxiong.github.io)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
要使用git clone下载数据集,你可以按照以下步骤进行操作: 1. 首先,打开控制台命令行界面。 2. 确保你已经准备好了存放代码的文件夹,可以创建一个文件夹来存放所有的代码。 3. 进入你想要存放代码的文件夹。 4. 执行git clone命令,后面跟上你要下载数据集的git链接。例如,如果你要下载Hugging Face的GLUE数据集,可以执行以下命令: ``` git clone https://huggingface.co/datasets/glue.git ``` 这将会将GLUE数据集下载到当前文件夹中。 请注意,如果你在下载模型或数据集文件时遇到速度较慢的问题,可能是因为Hugging Face的服务器在国外。你可以配置git代理来加速下载。全局代理配置方式是执行以下命令: ``` git config --global https.proxy http://127.0.0.1:1080 ``` 这将会将代理配置为本地的1080端口。 希望这些信息对你有帮助!\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *3* [如何批量下载hugging face模型和数据集文件](https://blog.csdn.net/zhaohongfei_358/article/details/126222999)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [从创建文件开始,使用git clone方式把代码上传到服务器上,并配置好环境(Pycharm远程连接服务器来跑代码第...](https://blog.csdn.net/weixin_41377182/article/details/127460316)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坠金

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值