Ollama在Docker下的安装与配置

最新推荐文章于 2025-03-13 14:30:06 发布

goomind

最新推荐文章于 2025-03-13 14:30:06 发布

阅读量1w

点赞数 2

分类专栏： LLM 文章标签： docker 容器运维 llm 人工智能 transformer

本文链接：https://blog.csdn.net/weixin_40280870/article/details/145300048

版权

LLM 专栏收录该内容

20 篇文章

订阅专栏

docker部署Ollama

一、拉取 Ollama 镜像

方式一：Docker 软件在可视化界面中搜索并下载

在这里插入图片描述

方式二：官网推荐直接使用下面的指令拉取下载镜像，本项目只需在CPU上即可运行。

# CPU 或者 Nvidia GPU 
docker pull ollama/ollama

# AMD GPU
docker pull ollama/ollama:rocm

注：如果读者想要使用具体的版本的镜像，明确运行环境，可以使用下面的指令:

# CPU 或 Nvidia GPU下载ollama 0.3.0
docker pull ollama/ollama:0.3.0
# AMD GPU下载ollama 0.3.0
docker pull ollama/ollama:0.3.0-rocm

二、运行ollama镜像

方式一：Docker在可视化界面中运行镜像

下载完成后，可以在 Images中找到 Ollama 镜像，点击 run 标识即可运行，注意运行前在弹出的可选设置里面，选定一个端口号（如8089）。

在这里插入图片描述

在 Containers 中找到该镜像，点击 OLLM 即可进入 Ollama 界面

在这里插入图片描述

验证安装完成，在 Exec 处输入：

ollama -h

输出如下：即表示安装成功🎉


Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

在这里插入图片描述

终端使用 Ollama :

以下是 Ollama 使用常见的指令：


ollama serve         #启动ollama
ollama create        #从模型文件创建模型
ollama show          #显示模型信息
ollama run           #运行模型
ollama pull          #从注册表中拉取模型
ollama push          #将模型推送到注册表
ollama list          #列出模型
ollama cp            #复制模型
ollama rm            #删除模型
ollama help          #获取有关任何命令的帮助信息

ollama run llama3

下载速度取决于你的带宽，下载完毕即可使用✌记得使用 control + D 退出聊天

方式二：命令行启动

CPU 版本：

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama