ollama 模型显存常驻OLLAMA_KEEP_ALIVE；支持并发访问OLLAMA_NUM_PARALLEL；支持同时推理多个模型

已于 2024-07-09 14:21:21 修改
阅读量4.7k 收藏 3
点赞数 5
分类专栏： 大模型AI 深度学习 文章标签： 大模型 llm 大模型推理
于 2024-07-01 12:46:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42357472/article/details/140097875
版权

参考：https://blog.csdn.net/weixin_42357472/article/details/137666022
https://blog.csdn.net/qq_35762024/article/details/139549796

ollama 常见环境变量

ollama --version 

ollama serve -h

在这里插入图片描述
在这里插入图片描述

OLLAMA_DEBUG 显示额外的调试信息（例如：OLLAMA_DEBUG=1）
OLLAMA_HOST ollama服务器的IP地址（默认 127.0.0.1:11434）
OLLAMA_KEEP_ALIVE 模型在内存中加载的持续时间（默认 “5m”）
OLLAMA_MAX_LOADE

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大模型部署实战】Ollama如何保持模型常驻内存，或者显存，如何立刻释放
m0_47867638的博客
02-15 1420
参数，用户可以灵活地管理 Ollama 中模型的内存使用，既可以保持模型在内存中以提高响应速度，也可以根据需要及时卸载模型以释放资源。这种灵活性使得 Ollama 在处理大语言模型时更加高效和便捷[1][4][9][10]。Ollama 是一个用于管理和运行大语言模型的框架，默认情况下，模型在生成响应后会在内存中保留 5 分钟。然而，用户可能希望根据需求调整这一行为，以便更好地管理内存使用。用户可以通过 API 请求来设置该参数，以控制模型在内存中的保留时间。如果需要立即卸载模型以释放内存，可以通过设置。
『大模型笔记』怎样让Ollama启动的大模型常驻内存(显存)？
AI新视界
02-14 2077
怎样让Ollama启动的大模型常驻内存(显存)？
本地部署VLLM预分配显存与Ollama OLLAMA_KEEP_ALIVE释放显存的对比以及思考，并行推理，张量并行
最新发布
白鸿源的博客
03-20 787
ollama不支持GPU张量并行，于是打算把ollama替换到vllm平台进行推理。但研究了发现由于vllm是预分配显存，--gpu_memory_utilization参数设置比例，待机会占用不少显存，没跑推理时显卡待机功耗就比较高，实测T10显卡每张卡大概50几W功耗，而ollama的OLLAMA_KEEP_ALIVE默认是5分钟空闲会释放模型显存，还能自定义时间，到一定时间未调用推理，会主动释放，释放显存后显卡待机功耗每张10W,vllm强在多线程并行推理性能很强，可以说并行推理秒杀ollama
AI学习指南Ollama篇-Ollama中的模型管理
俞兆鹏的博客
01-25 291
GGUF（Generalized Model Format）是一种轻量级的模型格式，专为快速部署设计。轻量级：文件体积小，适合资源受限的设备。高效：加载速度快，运行效率高。兼容性强：广泛支持多种模型架构。
ollama将模型永远加载在显存里
甜盐的博客
07-03 7189
我们在使用ollma部署大语言模型的时候,如果部署的模型尺寸较大,往往在第一次加载的时候需要花费大量的时间加载模型;等加载完成后,如果长时间不调用模型,我们会发现模型已经被释放掉了,又要重新加载,导致体验感极差.因为在没被调用时,ollama默认在显存中驻留5min,然后就会自动释放,如果我们两次调用的间隔大于5min的话,那模型已经被释放了,又要重新加载;如预加载模型,并永远驻留在显存。可以根据实际情况自由设置;不过ollama预留了。
ollama设置模型常驻显存
麻雀之梦想
02-26 361
【代码】ollama设置模型常驻显存。
ollama如何保持模型加载在内存（显存）中或立即卸载
weixin_63782093的博客
07-24 9729
ollama如何保持模型加载在内存（显存）中或立即卸载
ollama docker设置模型常驻显存
weixin_42357472的博客
03-17 322
【代码】ollama docker设置模型常驻显存。
Ollama 如何让模型保持在内存或卸载
canduecho的专栏
07-23 8182
Ollama 默认情况下，模型会在内存中保存 5 分钟，然后才会卸载。如果您向 LLM 发出大量请求，这可以缩短响应时间。但是，您可能希望在 5 分钟过去之前释放内存，或者无限期地加载模型。端点来控制模型在内存中保留的时间。
Ollama 大模型推理引擎深度优化
形上得其象，形下合于数；阴阳自济，玄理自明。
03-03 1931
通过系统化调整这些参数，可最大化发挥硬件潜力，典型场景可获得40-200%的性能提升。建议建立参数变更记录表，持续跟踪优化效果。迭代持续更新，建议定期访问。
本地部署 DeepSeek-R1-671B 满血版大模型
Phyloser的博客
02-17 3849
DeepSeek-R1大模型具备深度思考和推理能力，在数学、代码、自然语言推理等任务上都有着极大的提升。一方面由于官方或第三方的在线服务或多或少存在不稳定的问题，另一方面考虑到数据安全和隐私问题，本地私有化部署DeepSeek开源大模型对个人或企业来说也是一种不错的选择。本文主要介绍完整参数版本 deepseek-r1-671b 模型的部署和测试过程，对 deepseek-v3-671b 以及其他更小参数版本的模型同样适用。
AutoDL启动ollama指定模型存放目录
qq_44119705的博客
06-26 1116
一般的linux系统的修改办法是修改ollama.server文件，但是autodl是个例外，因为本身它机器就是一个容器。
本地部署和运行大型语言模型（Large Language Models, LLMs）的工具Ollama
西京刀客
04-19 2481
Ollama 是一个便于本地部署和运行大型语言模型（Large Language Models, LLMs）的工具。使用通俗的语言来说，如果你想在自己的电脑上运行如 GPT-3 这样的大型人工智能模型，而不是通过互联网连接到它们，那么 Ollama 是一个实现这一目标的工具。
解决ollama无法长时间保存在内存中的问题
China_boy007的博客
03-04 4846
一、每次发出请求加载模型时，定义一个keep_alive变量，说明要存在多长时间。
Ollama 可以设置的环境变量
热门推荐
engchina的专栏
05-12 2万+
Ollama 可以设置的环境变量
ollama 使用技巧集锦
顺其自然~专栏
04-10 3215
从帮助文件可以看，我们通过设置环境变量（OLLAMA_MODELS）来指定模型目录，可以通过系统设置里来配置环境变量（系统变量或者用户变量）记得替换你的模型的完整路径 另外不同模型的template 和 stop parameter不同，这个不知道就不写，或者网上搜索 然后执行。使用*， 意味着任何应用都可以访问ollama，如果你没有特别的要求，可以考虑用它。导入模型的时候，确保硬盘可用空间在模型大小的2倍以上，， 搜Octopus-v2，找有GGUF标识的，为例，先查看模型信息，从模型文件信息里得知。
OLLAMA_NUM_PARALLEL
02-22
### 配置和使用 OLLAMA_NUM_PARALLEL 参数 在并行处理或多线程环境中，`OLLAMA_NUM_PARALLEL` 参数用于控制并发执行的任务数量。此参数通常定义了可以同时运行的最大线程数或进程数。 对于 `OLLAMA_NUM_PARALLEL` 的配置，在环境变量设置方面，可以通过命令行或者脚本文件来指定该参数的值： ```bash export OLLAMA_NUM_PARALLEL=4 ``` 当涉及到多线程编程时，合理设定 `OLLAMA_NUM_PARALLEL` 可以显著提高程序性能[^1]。然而需要注意的是，并发度并非越高越好；过高可能会导致上下文切换频繁，反而降低效率。因此建议根据实际硬件资源（如 CPU 核心数）以及应用特点调整这个数值。 为了更好地利用多核处理器的优势，还可以考虑采用更高级别的抽象库来进行并行化操作，比如 Python 中的 `concurrent.futures` 或者 Java 中的 Fork/Join 框架等。这些工具能够简化开发过程中的复杂逻辑管理，使得开发者更容易编写高效稳定的并行应用程序。 ```python import os from concurrent.futures import ThreadPoolExecutor, as_completed num_parallel = int(os.getenv('OLLAMA_NUM_PARALLEL', '2')) # 获取环境变量，默认为2 def task(n): print(f"Running Task {n} on thread {threading.current_thread().name}") time.sleep(1) return f"Task {n} completed" with ThreadPoolExecutor(max_workers=num_parallel) as executor: futures = [executor.submit(task, i) for i in range(num_parallel * 2)] for future in as_completed(futures): result = future.result() print(result) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

loong_XL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值