在docker中部署ollama体验AI模型

❀͜͡傀儡师

已于 2024-05-28 15:03:28 修改

阅读量461

点赞数 3

文章标签： docker 人工智能容器

于 2024-05-28 15:00:43 首次发布

本文链接：https://blog.csdn.net/weimeilayer/article/details/139267295

版权

docker部署ollama

1.docker部署ollama

CPU模式

docker run -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

GPU模式（需要有NVIDIA显卡支持）
docker使用GPU运行ollama

docker run --gpus all -d -v /data/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

docker部署ollama web ui

docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main

ollama模型仓库（可以选择自己想用的模型安装体验）[地址](https://ollama.com/library)

使用docker中的ollama下载并运行AI模型

docker exec -it ollama ollama run llama3:8b