替代huggingface下载大模型的站点

14 篇文章 2 订阅
14 篇文章 0 订阅

0. 引入

huggingface是个好网站,大模型的下载都得靠他,但是网络问题一直是一言难尽,所以只好找找其他替代品。目前发现的代替网站如下,后续如有新发现,还会再来更新到这里。

1. aliendao

https://aliendao.cn/ 是一个能替代huggingface下载大模型(完整大模型,包括二进制文件和其他配置、代码)的网站,实测网速会比较慢,但好歹能用,而且托管了很多知名大模型,这就很不错了。

使用方法如下,以下载chatglm3-6b为例:

  1. 从网站首页下载 model_download.py
  2. 安装huggingface_hub:pip install huggingface_hub
  3. 运行这个命令,就能下载到大模型:python model_download.py --repo_id THUDM/chatglm3-6b

注意,下载到的模型,会放到运行python命令的dataroot/目录下

2. modelscope

ModelScope(https://www.modelscope.cn/ )是阿里推出的下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,其开发目标为让模型应用更简单。从这上面下载模型,和huggingface比较类似。注册后就能看到大模型的repo和下载方式,比如,以下载chatglm3-6b为例(实测这个下载速度很快):

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

3. hf-mirror

这个是Huggingface 镜像站:https://hf-mirror.com/,目前没有太多实测经验,不知道它收录模型的完整度怎么样。但是至少至少它已经收录了mixtral-8x7b:https://hf-mirror.com/someone13574/mixtral-8x7b-32kseqlen

4. AI快站

AI快站,https://aifasthub.com/,初步看模型收录的也比较全,很多主流模型也都有在这托管。提供所谓加速下载方式:“在AI快站,可以体验到高达4M/s的下载速度,大幅减少等待时间”。

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
模型国产替代是指在人工智能领域,国内自主研发和应用大规模预训练模型,以替代依赖于国外的大型模型。目前,国内已经有一些企业和研究机构在这方面取得了一定的进展。 首先,国内已经有一些大规模预训练模型的研发和应用。例如,百度推出的ERNIE(Enhanced Representation through Knowledge Integration)模型,腾讯推出的BERT(Bidirectional Encoder Representations from Transformers)模型等。这些模型在自然语言处理、文本生成等任务上取得了不错的效果。 其次,国内也在积极探索自主研发大规模预训练模型的路径。例如,中科院计算所推出的GPT(Generative Pre-trained Transformer)模型,通过自主研发和优化,取得了与国外同类模型相媲美的效果。此外,还有一些企业和研究机构在自主研发大规模预训练模型方面进行了一系列的尝试和实践。 然而,要实现真正的大模型国产替代,还面临一些挑战。首先是数据集的问题,大规模预训练模型需要大量的数据进行训练,而国内的数据集相对于国外来说还有一定的差距。其次是计算资源的问题,训练大规模模型需要庞大的计算资源,包括高性能的计算机和大规模的分布式训练平台。此外,还需要解决模型的可解释性、隐私保护等问题。 总体来说,大模型国产替代是可行的,但需要在数据集、计算资源、算法研发等方面进行持续投入和努力。通过国内企业、研究机构和政府的共同努力,相信在不久的将来,国内将能够自主研发和应用更多的大规模预训练模型

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值