Ollama内网离线部署大模型

杉叔

已于 2024-05-17 14:41:51 修改

阅读量1.4w

点赞数 19

分类专栏： AIGC 文章标签： linux unix 人工智能

于 2024-05-17 14:36:11 首次发布

本文链接：https://blog.csdn.net/u010197332/article/details/139004006

版权

Ollama内网离线部署大模型

本文以codeqwen:7b大模型为例编写部署步骤

1、大模型源文件准备

（1）国内大模型源文件下载地址https://modelscope.cn/models

在这里插入图片描述

（2）国外大模型源文件下载地址https://huggingface.co/models

在这里插入图片描述

2、准备Modelfile文件

（1）Modelfile参数说明

命令	描述
`FROM` (必需的)	引入使用的模型或者模型源文件
`PARAMETER(参数)`	设置大模型的运行参数
`TEMPLATE(提示词模板)`	用于大模型请求的prompt提示词模板
`SYSTEM`	设置的大模型默认的系统消息
`ADAPTER`	定义适用于模型的（Q）LoRA适配器
`LICENSE`	指定license.
`MESSAGE`	指定消息历史

（2）Modelfile样例文件

FROM ./codeqwen-1_5-7b-chat-q8_0.gguf

TEMPLATE &

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

杉叔

关注关注

19
点赞
踩
102

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

离线安装Ollama以及部署模型

rabbitlss的博客

02-12

3197

因为只能使用带GPU资源的内部LINUX服务器 ( X84-64 / Centos7 )，同时服务器没有外网，在网上查阅了相关内容，从头到尾自己安装部署了一遍，特地记下来方便后续查阅。

linux离线安装Ollama并完成大模型配置（无网络）

热门推荐

m0_71142057的博客

10-30

1万+

这篇文章主要分享两方面内容：1）在纯内网环境下如何部署ollama2）在纯内网环境下如何配置大模型话不多说直接开始。

参与评论您还未登录，请先登录后发表或查看评论

详细！离线部署大模型：ollama+deepseek+open-webui安装使用方法及常见问题解决

Y525698136的博客

02-21

1065

通过以上内容，我们了解了 ollama 在国内环境下的安装使用方法，并介绍了因为国内网络特色导致安装过程可能会遇到的常见问题及解决办法。希望这些内容对你有所帮助，如果你有任何问题或建议，欢迎在评论区留言交流。• ollama 官方站：https://ollama.com• ollama 中文站：https://ollama.org.cn• ollama 入门：https://ollama.readthedocs.io/quickstart/

离线环境使用ollama部署DeepSeek模型。无GPU，CPU推理所以部署这个笨蛋

new_wugan的博客

04-16

935

1.1 下载模型在有网络的环境下下载DeepSeek 1.5B的GGUF格式模型，资源足够的话，理论上你想部署啥就部署啥模型：推荐去hugginface下载或者魔搭：这里我是魔搭下载的量化版：https://modelscope.cn/models/ggml-org/DeepSeek-R1-Distill-Qwen-1.5B-Q4_0-GGUF/files下载ubuntu官方镜像：docker pull ubuntu:22.04。

Linux的Ollama离线部署与各模型gguf文件离线导入

qq_45875033的博客

03-07

1642

curl --location --request POST 'http://127.0.0.1:11434/api/generate' \--header 'Content-Type: application/json' \--data '{"model": "deepseek-14b","stream": false, "prompt": "1加1等于几?修改vi /etc/systemd/system/ollama.service，修改里面的11434。5、修改环境的端口，让外部服务器可以访问。

Ollama离线部署模型

青山的博客

01-10

5711

文章主要内容是没有显卡的CPU环境下，Linux系统中进行私有化大语言模型、embedding模型的部署以及迁移

ollama+模型内网离线部署

weixin_65416692的博客

07-16

5393

在线机器上使用ollama提前下载好模型，将模型文件models直接拷贝到系统中，在服务文件中设置存放模型文件的环境变量即可。mv /home/models /usr/share/ollama/.ollama //替换模型文件。rm -r /usr/share/ollama/.ollama/models //删除原模型文件。sudo systemctl restart ollama //停止ollama。sudo systemctl start ollama //启动ollama。

离线部署ollam以及大模型

zuidenaoshi的专栏

04-29

3136

到这里是参考官方文档: https://github.com/ollama/ollama/blob/main/docs/linux.md .有网机器上下载ollama: wget https://ollama.com/download/ollama-linux-amd64。创建用户: sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama。大模型存储在: /usr/share/ollama/.ollama。

借助ollama在linux离线环境上部署大模型

markMe1024的博客

07-05

1395

在mac上使用ollama下载并部署想要的模型。在linux上离线安装ollama：ollama离线安装。将mac的ollama的.ollama目录（~/.ollama/）完整拷贝到linux上（/usr/share/ollama/.ollama/）：拷贝ollama模型，从Mac到Debian。结束

AIGC 实战：如何使用 Docker 在 Ollama 上离线运行大模型（LLM）

surfirst的博客

02-22

1万+

Ollama 是一个开源平台，用于管理和运行各种大型语言模型 (LLM)，例如 Llama 2、Mistral 和 Tinyllama。它提供命令行界面 (CLI) 用于安装、模型管理和交互。您可以使用 Ollama 根据您的需求下载、加载和运行不同的 LLM 模型。

离线部署Ollama

最新发布

topfine的博客

04-26

1066

怎样在内网中离线部署Ollama的方法如何离线加载模型内网上不了Internet，依据实践整理了离线部署Ollama的方法

保姆级离线+windows环境+私有化部署大模型（一）

shishi521的专栏

09-10

2126

在离线状态，无外网环境下，windows环境部署自己的私有化大模型。

Ollama部署离线大模型

qq_45171581的博客

04-08

557

1.右键点击【此电脑】->【属性】->【高级系统设置】->【环境变量】2.新建系统变量：变量名：OLLAMA_MODELS变量值：D:\models(以实际电脑磁盘为准)ollama参数启动服务：ollama serve停止：ollama stop查看安装的模型： ollama list。

使用Ollama本地离线运行大模型

dotNET跨平台

07-29

1061

Ollama介绍用于启动并运行大型语言模型。GitHub地址：https://github.com/ollama/ollama官方网站：https://ollama.com/实践根据README的指引，安装对应系统的Ollama。由于我的电脑比较旧了，配置如下：所以就选择一个参数小一点的大模型，我选择的是phi3 3.8b的版本。在控制台输入：ollamarunphi3:latest即可。没下...

【ollama 在linux 上离线部署本地大模型】

zishuijing_dd的博客

09-23

5910

简介如何用ollama 在linux部署大模型

Ollama离线（内网）安装部署大模型

weixin_45145684的博客

02-16

1263

（1）在下面列表按照自己的机器内存选一个合适自己的（可询问在线大模型），选好以后，在右侧“下载”下载到本地就行，不用注册。（5）在该目录下输入cmd执行以下命令，等待几分钟分钟，出现success表示成功。本文以DeepSeek-R1-Distill-Qwen-7B大模型为例编写部署步骤。：本文章以DeepSeek-R1-Distill-Qwen-7B为例。（3）新建一个txt文件，改名成modelfile，去掉扩展名。（4）新建一个文件夹，把模型和modelfile都放进去。

yum源

03-11

<think>嗯，用户想了解如何配置和使用yum源。首先，我需要回忆一下关于yum源的基本知识。记得yum源是软件仓库，用来管理RPM包的安装和依赖关系。配置yum源通常涉及编辑.repo文件，这些文件位于/etc/yum.repos.d/目录下。还有可能涉及到本地源和网络源的配置。根据用户提供的引用内容，引用[2]提到yum的配置文件分为main和repository部分，main在/etc/yum.conf，而repository在/etc/yum.repos.d/里的各个文件。所以配置的时候需要关注这两个部分。用户可能遇到的问题包括如何创建新的源文件，如何指向本地或网络路径，以及如何处理GPG检查。用户的问题可能包括步骤不清晰，比如如何挂载ISO镜像来配置本地源。引用[3]中提到了创建local.repo文件，并指定baseurl为file:///路径。这时候需要确保挂载点正确，并且权限设置没问题。另外，可能需要禁用默认的网络源，避免冲突。用户还可能关心如何测试配置后的yum源是否生效，比如运行yum clean all和yum makecache。此外，常见问题如无法找到包，可能和baseurl的配置错误有关，或者网络源不可达。需要检查URL是否正确，网络连接是否正常。可能还需要解释不同的源类型，比如本地、网络（如阿里云、清华源），以及如何备份原有的配置文件，避免出错后恢复。引用[1]提到可以将默认文件移到/opt下或重命名，这样可以禁用默认源，避免干扰。总结下来，回答的结构应该分步骤，包括备份、创建repo文件、配置内容、清理缓存，然后验证。同时，常见问题部分需要列出可能的问题和解决方法，如GPG检查、路径错误等。还要注意使用正确的格式，行内变量用$符号，独立公式用$$，不过这里可能数学公式不多，但需要确保LaTeX正确。</think>### 如何配置和使用yum源？ #### 一、yum源的核心配置方法 1. **备份默认源** 操作前建议备份系统原有源配置： ```bash mv /etc/yum.repos.d/*.repo /opt/backup/ # 将默认源文件移动到备份目录 ``` 这是为了防止原有配置与新配置产生冲突[^1]。 2. **本地yum源配置** - **挂载镜像文件** 将CentOS镜像文件挂载到指定目录： ```bash mount -o loop /path/to/CentOS-ISO /mnt/cdrom ``` - **创建配置文件** 新建`/etc/yum.repos.d/local.repo`并写入： ```ini [local-base] name=Local-CentOS-Base baseurl=file:///mnt/cdrom gpgcheck=0 enabled=1 ``` 关键参数说明： - `baseurl`：本地路径使用`file://`协议头[^3] - `gpgcheck=0`表示跳过数字签名验证 3. **网络yum源配置** 以阿里云源为例，创建`/etc/yum.repos.d/aliyun.repo`： ```ini [aliyun-base] name=Aliyun-CentOS-Base baseurl=https://mirrors.aliyun.com/centos/$releasever/os/$basearch/ gpgcheck=1 gpgkey=https://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7 enabled=1 ``` 注意：`$releasever`和`$basearch`会自动解析为系统版本和架构[^2] #### 二、关键操作命令 1. **清理缓存并更新** ```bash yum clean all # 清除旧缓存 yum makecache # 生成新缓存 yum repolist all # 验证源状态 ``` 2. **典型使用场景** ```bash yum install httpd -y # 安装软件包 yum update # 更新所有软件 yum search python3 # 搜索软件包 ``` #### 三、常见问题排查 | 问题现象 | 解决方案 | |---------|----------| | `Could not resolve host` | 检查网络连接和`baseurl`地址 | | `Package not found` | 确认仓库是否包含该软件包版本 | | GPG签名校验失败 | 设置`gpgcheck=0`或导入正确密钥 | #### 四、进阶配置技巧 1. **多源优先级控制** 安装`yum-plugin-priorities`插件，在`.repo`文件中添加： ```ini priority=1 # 数字越小优先级越高 ``` 2. **仓库分组管理** 通过`[epel]`、`[docker]`等独立仓库配置实现分类管理