Ollama模型下载路径替换!靠谱!(Linux版本)

更改模型下载路径

默认情况下,ollama模型的存储目录如下:

macOS: ~/.ollama/models 
Linux: **/usr/share/ollama/.ollama/models**
Windows: C:Users<username>.ollamamodels
  1. 创建新路径

先创建一个新文件夹

sudo mkdir /path/to/ollama/models

路径下的文件的权限用户和组都要是root,并且权限全开,为777
在这里插入图片描述

如果不是,可以用如下命令设置:
将目标路径的所属用户和组改为root

sudo chown -R root:root /path/to/ollama/models

将其文件权限更换为777

sudo chmod -R 775 /path/to/ollama/models
  1. 更改目录

vim编译器打开ollama.service

sudo vim /etc/systemd/system/ollama.service

[Service]下面加入一行新的Environment新一行! 如下图:

Environment="OLLAMA_MODELS=/path/to/ollama/models" # 记得替换路径!!!

请添加图片描述

执行以下命令刷新配置:

sudo systemctl daemon-reload

重启ollama

 sudo systemctl restart ollama.service

查看一下重启后的ollama运行状态:

sudo systemctl status ollama

请添加图片描述
检查路径是否设置成功:

ollama list

如果返回了如下图,因为是刚才新的路径,里面还没下载任何模型进去,所以只有标题行,没内容。这样就是成功了!
在这里插入图片描述

### 提高OllamaLinux系统上的运行速度 为了提升OllamaLinux平台上的执行效率,可以采取多种策略优化性能。由于官方指出,在Linux环境下要利用GPU加速模型运算必须通过Docker容器实现[^1],因此确保正确配置Docker环境成为首要任务。 #### 配置Docker以支持GPU加速 确认已安装NVIDIA Container Toolkit以便于使能GPU资源给到Docker容器内使用的应用程序。这一步骤对于充分发挥硬件潜力至关重要。具体操作可参照[NVIDIA官方指南](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html),完成驱动及工具包的部署后,重启Docker服务并验证其能否识别本地存在的GPU设备。 #### 使用合适的镜像版本 选用针对特定硬件架构进行了优化过的Ollama Docker镜像版本能够带来显著的速度增益。通常情况下,默认提供的最新稳定版已经过广泛测试具备良好的兼容性和稳定性;但对于追求极致效能的应用场景,则建议关注项目仓库中的标签页寻找可能更适合当前系统的变体或是实验性质的构建。 #### 减少不必要的计算开销 当涉及到大型语言模型LLaMA2时,减少每次请求所消耗的时间可以通过调整批处理大小(batch size)以及序列长度(sequence length)等方式达成。合理设定这些参数有助于平衡吞吐量与延迟之间的关系,从而获得更流畅的服务体验。此外,如果应用场景允许的话,考虑采用量化技术降低权重精度不失为一种有效的手段——它能在几乎不影响预测质量的前提下大幅削减所需的算力需求[^2]。 #### 利用混合精度训练/推理 启用FP16半精度浮点数格式代替传统的FP32来进行前向传播过程中的数值表示,可以在不牺牲太多准确性的情况下加快计算速度并且节省显存占用空间。大多数现代深度学习框架均内置对此特性的良好支持,只需简单修改几行代码即可激活该功能: ```python import torch model.half() # 将模型转换成半精度模式 input_tensor = input_tensor.to(torch.float16) # 输入张量也应相应地转为float16类型 output = model(input_tensor) ```
评论 25
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值