快速下载ollama 模型文件脚本

这里简单的通过modelscope下载,以下用简单的shell来下载
1、首先要有一个python3 
2、直接下载到当前目录的方法,这里以qwen2.5 来做例子,其它的可自行修改
 

#为了不影响其它环境,用venv当前目前做个新的环境
pyhton3 -m venv venv
#激活环境
source ./venv/bin/activate
#安装所需要的库
pip install importlib_metadata modelscope
#下载
modelscope download --model=qwen/Qwen2.5-7B-Instruct-GGUF --include "qwen2.5-7b-instruct-q5_k_m*.gguf" --local_dir .
#[可选]合并为一个文件用 llama-gguf-split
#./llama-gguf-split --merge qwen2.5-7b-instruct-q5_k_m-00001-of-00002.gguf qwen2.5-7b-instruct-q5_k_m.gguf

参考: 魔搭社区

或是直接找到对应的你想要的文件用CURL下载:
 


curl -o qwen.guff "https://www.modelscope.cn/api/v1/models/qwen/Qwen1.5-7B-Chat-GGUF/repo?Revision=master&FilePath=qwen1_5-7b-chat-q2_k.gguf"

### 加速Ollama模型下载速度的方法 对于前95%的下载过程,通常能够保持较快的速度;然而,在最后1%-4%期间可能会遇到下载变慢的情况[^1]。为了改善这一状况并提高整体效率,可以采取以下几种策略: #### 使用镜像源 如果官方服务器距离较远或负载过高,考虑切换至更近或者更快捷的第三方镜像站点来获取所需文件。 #### 调整Docker配置参数 由于Ollama是在Docker容器内运行,适当调整Docker的相关设置也可能有助于提升传输速率。例如增加`/etc/docker/daemon.json`中的并发连接数限制或是启用HTTP代理服务等措施[^3]。 ```json { "max-concurrent-downloads": 20, "registry-mirrors": ["https://mirror.example.com"] } ``` 重启Docker守护进程使更改生效: ```bash sudo systemctl restart docker ``` #### 修改模型存储路径 通过改变默认保存目录减少磁盘I/O瓶颈的影响。可以在启动命令中指定新的目标地址或将环境变量设为期望的位置。 ```bash export OLlama_MODEL_PATH=/mnt/fastdisk/models/ ``` #### 利用多线程工具辅助下载 借助专门设计用于加速大文件分段抓取的应用程序(如Aria2),这些软件支持断点续传以及多节点同步拉取资源特性,从而有效缩短总耗时。 安装aria2: ```bash sudo apt-get install aria2 ``` 创建批量脚本执行下载任务: ```bash aria2c -x 16 -s 16 http://example.com/path/to/model.tar.gz ``` 以上方法综合运用可以从不同角度优化Ollama模型下载体验,显著降低等待时间。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值