huggingface模型--下载超时--各种方法总结

timeout

下载模型超时，一般是最大的那个模型下载超时，其他依赖文件下载都没问题。
ConnectionError: HTTPSConnectionPool(host='cdn-lfs.huggingface.co', port=443): Read timed out.

笔者总结下来，性价比最高的是云市场的学术加速，快捷稳定，价格相对便宜。

解决方案

0. huggingface下载加速

huggingface下载加速

1. 手动下载并保存到对应位置

如果你浏览器可以打开huggingface，那么久适用这个方法。

1.1 下载

如下图，将这个链接用浏览器下载，或者用迅雷等软件下载均可以，甚至部分下载软件，还能给你提供额外的加速功能。

1.2 存放到对应位置

在linux下文件应该存放在~/.cache/huggingface/hub/models--dandelin--vilt-b32-finetuned-vqa/snapshots/d0a1f6ab88522427a7ae76ceb6e1e1e7b68a1d08下，
其中：

1. ~/.cache/huggingface/hub/为固定路径。
2. models--dandelin--vilt-b32-finetuned-vqa为模型文件夹，此文件夹下很多依赖文件，不能缺少，否则不成功。
   
3. d0a1f6ab88522427a7ae76ceb6e1e1e7b68a1d08不知道为什么如此命名，是最终放数据的地方。
   我的情况下，仅仅补充了一个大的模型文件如下：
   

模型文件夹名字规则如下。我的模型为dandelin/vilt-b32-finetuned-vqa,文件夹为models--dandelin--vilt-b32-finetuned-vqa。

在models--dandelin--vilt-b32-finetuned-vqa下新建snapshots文件夹，并把下载好的文件放进去，即可正常使用。

2. 学术加速

很多租卡市场，支持学术加速的，它们支持分时租赁或者有优惠政策，你可以把他们当做下载器。

2.1 租卡市场

很多了，AutoDL，阿里云，恒源云之类的， 你多搜索。检查这个市场是否支持学术加速，如在浏览器搜索，AutoDL 学术加速，阿里云应该是不支持学术加速，你们pass吧。

租了服务器，按照文档说明进行下载huggingface模型

打开学术加速。

huggingface模型，默认保存路径是~/.cache/huggingface/hub/，你也可以用设定保存路径。

下载打包吧！

使用阿里云oss网盘传输数据

速度快，费用低。

云盘资源下载

1. 这个需要自行搜索了，而且下载了不一定可以用，需要验证。
2. 需要开会员，才能下载快。