ollama大模型容器详解，根据ollama进行web开发

最新推荐文章于 2025-05-02 16:42:46 发布

镜鸾

最新推荐文章于 2025-05-02 16:42:46 发布

阅读量5.2k

点赞数 10

文章标签： python 网络

本文链接：https://blog.csdn.net/2301_78960337/article/details/136275555

版权

本文介绍了Ollama，一个基于Docker容器的大模型运行平台，支持从中央仓库拉取模型并在本地运行。文章详细讲解了Windows下载、命令行操作、RESTfulAPI使用以及不同环境（CPU和GPU）的docker部署。Ollama旨在提供本地AI模型运行环境，同时也支持webapi和服务端部署选项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

介绍

ollama底层基于docker容器，将类似于镜像的大模型从中央仓库拉取到本地，在docker容器中运行
ollama在每个容器中都提供了大模型运行的基本环境
简单的来说，可以把ollama看作docker容器，把ai大模型看作是镜像

ollama下载到本机

官方目前提供了多个系统的下载方案：
window,macOs,linux
还可以借助docker容器运行ollama

详细说一下windows的下载：
在这里插入图片描述
现在是无法选择下载文件夹的，默认是下载的C盘，但是模型下载目录是可以指定的，在系统变量中新建ollama_models变量，指定一个目录，不要指定c盘

ollama后台指令

ollama通过命令行指令启动服务

使用方法：
ollama [flags]
ollama [command]

可用命令：
serve       启动ollama
create      从模型文件创建模型
show        显示模型信息
run         运行模型
pull        从注册表中拉取模型
push        将模型推送到注册表
list        列出模型
cp          复制模型
rm          删除模型
help        获取有关任何命令的帮助信息

标志：
-h, --help      显示ollama的帮助信息
-v, --version   显示版本信息

使用 "ollama [command] --help" 获取有关特定命令的更多信息

ollama RestfulApi

在命令行操作ollama是极其不方便，同时官方也提供了ollama的restful风格的api
我通过接口测试工具测了一下，发现接口使用起来是很简单的，甚至不需要任何身份验证
其中/generate是等全部输出后再一起返回，而/chat则是逐个单词返回

这里放一下请求响应：

POST localhost:11434/api/generate 
{
    "model": "mistral",
    "prompt": "请用中文描述双亲委派机制",
    "stream": false
}

POST localhost:11434/api/chat
{
    "model": "mistral",
    "messages": [
        {
            "role": "user",
            "content": "请用中文回答：python,java,c的执行效率比较，并说明原因"
        }
    ]
}

ollama docker部署

docker中央仓库已经有ollama的镜像了，所以可以直接再docker容器中部署ollama程序

CPU only

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Nvidia GPU

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

总结

按照ollama团队的设想，ollama存在的目的就是提供一个可以再个人电脑上运行大语言模型的环境，而非运行在服务器上
在客户端上运行ai，可以完全依赖客户端的算力
但是ollama有提供了web api和docker部署方案，显然他们也没有放弃服务端部署