ollama大模型容器详解,根据ollama进行web开发

本文介绍了Ollama,一个基于Docker容器的大模型运行平台,支持从中央仓库拉取模型并在本地运行。文章详细讲解了Windows下载、命令行操作、RESTfulAPI使用以及不同环境(CPU和GPU)的docker部署。Ollama旨在提供本地AI模型运行环境,同时也支持webapi和服务端部署选项。
摘要由CSDN通过智能技术生成

介绍

ollama底层基于docker容器,将类似于镜像的大模型从中央仓库拉取到本地,在docker容器中运行
ollama在每个容器中都提供了大模型运行的基本环境
简单的来说,可以把ollama看作docker容器,把ai大模型看作是镜像

ollama下载到本机

官方目前提供了多个系统的下载方案:
window,macOs,linux
还可以借助docker容器运行ollama

详细说一下windows的下载:
在这里插入图片描述
现在是无法选择下载文件夹的,默认是下载的C盘,但是模型下载目录是可以指定的,在系统变量中新建ollama_models变量,指定一个目录,不要指定c盘

ollama后台指令

ollama通过命令行指令启动服务

使用方法:
ollama [flags]
ollama [command]

可用命令:
serve       启动ollama
create      从模型文件创建模型
show        显示模型信息
run         运行模型
pull        从注册表中拉取模型
push        将模型推送到注册表
list        列出模型
cp          复制模型
rm          删除模型
help        获取有关任何命令的帮助信息

标志:
-h, --help      显示ollama的帮助信息
-v, --version   显示版本信息

使用 "ollama [command] --help" 获取有关特定命令的更多信息

ollama RestfulApi

在命令行操作ollama是极其不方便,同时官方也提供了ollama的restful风格的api
我通过接口测试工具测了一下,发现接口使用起来是很简单的,甚至不需要任何身份验证
其中/generate是等全部输出后再一起返回,而/chat则是逐个单词返回

这里放一下请求响应:

POST localhost:11434/api/generate 
{
    "model": "mistral",
    "prompt": "请用中文描述双亲委派机制",
    "stream": false
}

POST localhost:11434/api/chat
{
    "model": "mistral",
    "messages": [
        {
            "role": "user",
            "content": "请用中文回答:python,java,c的执行效率比较,并说明原因"
        }
    ]
}

ollama docker部署

docker中央仓库已经有ollama的镜像了,所以可以直接再docker容器中部署ollama程序

CPU only

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Nvidia GPU

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

总结

按照ollama团队的设想,ollama存在的目的就是提供一个可以再个人电脑上运行大语言模型的环境,而非运行在服务器上
在客户端上运行ai,可以完全依赖客户端的算力
但是ollama有提供了web api和docker部署方案,显然他们也没有放弃服务端部署

  • 9
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值