Ollama本地部署，离线使用大模型

最新推荐文章于 2025-03-25 11:14:16 发布
最新推荐文章于 2025-03-25 11:14:16 发布
阅读量1.1k 收藏 3
点赞数 7
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/djstavaV/article/details/138386614
版权

Ollama是什么

Ollama 是一个本地大模型运行框架，它允许用户在自己的计算机上运行和使用大型语言模型（LLM）。它的设计目标是简化大模型的运行过程，使得非专业的普通用户也能够轻松地玩转这些通常需要高端硬件和复杂设置才能运行的模型。目前 Ollama 已经支持了 windows、linux 和 macos。

实操

第一步，来到官方网站，地址是：https://ollama.com/download?utm_source=lobehub&utm_medium=docs&utm_campaign=download-windows

我这里是 windows 10系统，下载的是 exe 安装包

93d02089c250a4629e97f61433078717.jpeg

ollama

程序默认安装在了 C 盘，期间会拉取几个较大的文件，请确保有足够大的空间

4d1a39b3887c233014f82b9534b68c71.jpeg

ollama

安装完成后，自动弹出 powershell，输入 ollama run llama2

b1f709f384636e025b38595384316377.jpeg

ollama

看到 success，就安装成功了

向大模型提个问题吧

1bb72ba45d18db40fdedaa5a806eee11.jpeg

ollama

中文也能应付自如，不过有时候输入后，删除会不起作用，比较影响观感

e0513d2b6a294e7113a8977214846718.jpeg

ollama

最后，说一下我的电脑配置，显卡是 Nivida GTX 1660 6G，运行完全没有问题。

dd30c2860b615415a850ea1cb7feadbb.jpeg

ollama

参考资料

  • https://ollama.com/

e98746085fdef160eacaa6706460563f.jpeg

Ollama内网离线部署大模型
杉叔的专栏
05-17 1万+
Linux内网离线安装ollama请参考：https://blog.csdn.net/u010197332/article/details/137604798。（2）国外大模型源文件下载地址https://huggingface.co/models。（1）国内大模型源文件下载地址https://modelscope.cn/models。本文以codeqwen:7b大模型为例编写部署步骤。（1）Modelfile参数说明。（2）Modelfile样例文件。
使用ollama离线部署小模型
weixin_45592677的博客
05-10 1399
【代码】使用ollama离线部署小模型。
【ollama 在linux 上离线部署 本地大模型】
zishuijing_dd的博客
09-23 5910
简介如何用ollama 在linux部署大模型
Ollama: LLM私有化部署工具（附教程）
最新发布
瓦罗兰特顶级C位的博客
03-25 916
Ollama: LLM私有化部署工具（附教程）
使用Ollama本地离线运行大模型
dotNET跨平台
07-29 1061
Ollama介绍用于启动并运行大型语言模型。GitHub地址：https://github.com/ollama/ollama官方网站：https://ollama.com/实践根据README的指引，安装对应系统的Ollama。由于我的电脑比较旧了，配置如下：所以就选择一个参数小一点的大模型，我选择的是phi3 3.8b的版本。在控制台输入：ollamarunphi3:latest即可。没下...
离线部署ollam以及大模型
zuidenaoshi的专栏
04-29 3136
到这里是参考官方文档: https://github.com/ollama/ollama/blob/main/docs/linux.md .有网机器上下载ollama: wget https://ollama.com/download/ollama-linux-amd64。创建用户: sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama。大模型存储在: /usr/share/ollama/.ollama。
Ollama离线迁移模型，不联网从一台电脑复制到另一台电脑
sagima_sdu的博客
12-02 1万+
一般来说，Ollama 在本地存储模型的位置可能在用户目录下的某个特定文件夹中，比如在 Linux 系统下可能类似。保密项目，电脑不能联网，想要把笔记本上Ollama下载下来的模型通过离线的方式，如U盘、光驱等传给不联网的电脑。然后记录一下，这是我2024/7/11 19.52下载的模型，然后把这个文件夹里所有这一时间的文件都复制出来吧。在Ollama的模型存放目录下，有两个文件夹，一个叫blobs，另一个叫manifests。确认能够在模型列表里看到刚刚迁移过来的模型，然后测试。
第二十四篇-Ollama-在线安装
木卫二号的专栏
04-27 2684
ollama-在线安装，运行速度相当不错。
AIGC 实战：如何使用 Docker 在 Ollama 上离线运行大模型（LLM）
surfirst的博客
02-22 1万+
Ollama 是一个开源平台，用于管理和运行各种大型语言模型 (LLM)，例如 Llama 2、Mistral 和 Tinyllama。它提供命令行界面 (CLI) 用于安装、模型管理和交互。您可以使用 Ollama 根据您的需求下载、加载和运行不同的 LLM 模型。
离线安装Ollama以及部署模型
rabbitlss的博客
02-12 3201
因为只能使用带GPU资源的内部LINUX服务器 ( X84-64 / Centos7 )，同时服务器没有外网，在网上查阅了相关内容，从头到尾自己安装部署了一遍，特地记下来方便后续查阅。
使用ollama容器部署Deepseek本地大模型后使用，C#winform离线版
02-10
在许多应用场景中，如军事、医疗、工业控制等，由于安全或环境限制，往往需要在无网络的环境下使用大模型。传统的模型部署方式依赖于联网的服务器或云平台，这在离线环境下是无法实现的。而通过容器化部署和离线运行...
Ollama离线部署模型
青山的博客
01-10 5714
文章主要内容是没有显卡的CPU环境下，Linux系统中进行私有化大语言模型、embedding模型的部署以及迁移
如何用Ollama直接加载官网没有的本地大模型
2301_76362892的博客
05-22 1万+
大家在用ollama加载大模型时，第一步都是要到国外网站去下载模型，即需要科学 上网，又需要大带宽，且对于一些OLLAMA官网没有的大模型还不能直接使用，本文重点解决那种本地已经下载好的（含官网没有的）大模型如何直接被ollama加载使用问题。
Windows 系统下使用 Ollama 离线部署 DeepSeek - R1 模型指南
进一步有进一步的欢喜~
01-29 1万+
随着人工智能技术的飞速发展，各类大语言模型层出不穷。DeepSeek - R1 凭借其出色的语言理解和生成能力，受到了广泛关注。而 Ollama 作为一款便捷的模型管理和部署工具，能够帮助我们轻松地在本地环境中部署和使用模型。本文将详细介绍如何在 Windows 系统下使用 Ollama 离线部署 DeepSeek - R1 模型，并展示在 Windows CMD 窗口与 Google 浏览器插件 Page Assist 的交互案例。
windows下搭建ollama离线大模型服务
m0_38007743的博客
07-30 2857
Ollama是一个由Facebook AI Research开发的开源、轻量级且高效的大型语言模型（LLM）框架。它旨在使研究人员和开发人员能够更轻松地在自己的硬件上部署和运行LLM，而无需专门的云计算资源。OllamaOllama提供了一个简单直观的界面，用于加载、运行和评估LLM。它还支持各种自定义选项，允许用户根据特定需求定制LLM。
离线环境下安装Ollama
keyboard专栏
12-24 6869
准备文件：在有外网的环境中下载并传输等相关文件。修改脚本：修改安装脚本中的curl下载命令，将其指向本地文件路径。执行安装：在离线环境中执行修改后的安装脚本。手动启动：如果不使用systemd，可以手动启动 Ollama 服务。检查安装：确认 Ollama 是否成功安装并启动。通过这些步骤，你可以在离线环境中成功安装和运行 Ollama。如果有任何问题，随时可以咨询！
Ollama+GGUF离线加载本地模型
danielxinhj的博客
07-30 8609
一般在使用Ollama下载模型时，都是从官方仓库下载（使用，但一些环境下，受限于网速等原因使用这种方式可能会非常慢甚至无法下载，所以我们可以选择使用上的文件，在Ollama仓库里的模型都可以在Huggingface上找到，因此我们可以使用Ollama+GGUF文件离线加载模型。
【AI】Ollama+OpenWebUI+llama3本地部署保姆级教程，没有连接互联网一样可以使用AI大模型！！！
热门推荐
weixin_43012017的博客
04-27 6万+
在没有互联网的环境下部署，可以将下载好的Ollama安装包复制到此环境安装，然后将下载好的模型复制到相应路径就可以在无互联网的环境下使用。默认安装后的目录：C:\Users\username\AppData\Local\Programs\Ollama。8B模型一般16GB内存就可以跑的很流畅，70B模型则至少需要64GB内存，有CPU就可以跑，当然有GPU更好。由于llama3对中文的支持并不是很好，需要中文的可以使用GitHub上开源的这个llama3中文微调模型。提问题，发现该模型给了很好的回复。
Linux内网离线安装Ollama
杉叔的专栏
04-10 3万+
在线安装地址https://ollama.com/download选择服务器系统，按照步骤完成安装。下载地址 https://github.com/ollama/ollama/releases/总共需要修改两个点，第一：Ollama下载地址；第二：Ollama安装包存放目录。我下载的是Ollama的v0.1.31版本，后面均以此版本为例说明。修改后的install.sh文件，v0.1.31版本。第二处修改，修改ollama安装目录。第一处修改，注释下载链接。
ollama 上传本地离线大模型
02-07
### 如何在Ollama平台上上传本地离线的大规模预训练模型 #### 准备阶段 为了成功地将大规模预训练模型部署到Ollama平台，需先确认该平台支持所使用的框架版本。大多数云服务平台会提供详细的文档来指导用户完成这一过程。确保模型文件已妥善保存，并且所有依赖项均已准备好。 #### 配置环境 创建适合运行大型神经网络的工作环境至关重要。考虑到CNN属性提取模型与CAE相结合的方式能够充分利用大量未标注的数据集进行无监督学习[^1]，这意味着如果计划中的大模型同样基于类似的架构，则可能需要配置相应的计算资源以适应这种需求。对于GPU状态监控可以借助`gputil`这样的Python模块实现自动化管理[^3]： ```python import gputil GPUs = GPUtil.getGPUs() gpu_free_memory = [gpu.memoryFree for gpu in GPUs] print(f"Available GPU memory: {gpu_free_memory}") ``` 此脚本可以帮助监测可用的显存情况，从而合理安排模型加载时机。 #### 数据传输 当涉及到处理非常庞大的数据集或模型参数时，直接通过互联网上传可能会遇到带宽限制等问题。此时建议采用更高效的数据迁移策略，比如利用专用硬件设备或者寻求服务商提供的线下导入服务。具体操作应参照Ollama官方指南来进行。 #### 模型注册与验证 一旦完成了初步设置之后，在Ollama上注册新模型之前应当对其进行充分测试，确保其性能满足预期目标。这一步骤不仅限于简单的功能检验还包括评估不同尺度下的表现差异。只有经过严格审查后的高质量模型才值得被正式引入生产环境中。 #### API调用实例 假设已经获得了必要的API密钥和其他认证信息，下面是一个简化版的例子展示怎样使用RESTful接口向Ollama提交一个新的预训练模型（注意实际应用中还需加入错误处理逻辑）: ```bash curl -X POST https://api.ollama.com/v1/models \ -H "Authorization: Bearer YOUR_API_KEY_HERE" \ -F file=@/path/to/model/file.zip \ -F name="MyLargePretrainedModel" ``` 以上命令行工具演示了如何发送HTTP请求给指定端点，附带上载的目标压缩包路径以及自定义名称标签以便后续管理和引用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

迷途小书童的Note

请博主喝矿泉书！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值