AI大模型Docker部署CPU 版

1.前期准备

服务器不需要太大，普通电脑即可运行的CPU版AI大模型

安装Docker这里就不赘述了，网上自行找教程

2.拉取大模型服务

docker  pull ollama/ollama:latest

3.运行大ollama 

随便创建个空文件夹ollama

 mkdir ollama

运行刚才下载好的镜像 -v后面是你的文件映射 不懂可以去百度 

 docker run -d -v /ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

3.进入容器

docker exec -it ollama /bin/bash 

进入容器成功后，运行llama3，运行这个命令会下载4个多G的大模型

ollama run llama3 

运行成功就可以对话了，我这个是出llama3之前写的所以是llama2。

4.API接口对接

 端口11434，有什么问题直接修改prompt即可