本地部署ollama大模型

方案一

1. 安装 Docker

Ollama 大模型通常是通过 Docker 来运行的，因此首先需要确保本地已经安装了 Docker。如果还没有安装 Docker，可以参考以下安装步骤：

• Mac 用户：

  1. 前往 Docker 官网 下载并安装 Docker Desktop。
  2. 安装完成后，启动 Docker Desktop。

• Linux 用户：

  1. 使用以下命令安装 Docker：

     sudo apt-get update
     sudo apt-get install docker.io
     

  2. 启动并设置 Docker：

     sudo systemctl start docker
     sudo systemctl enable docker
     

2. 下载并部署 Ollama 镜像

Ollama 的大模型通常以 Docker 镜像的形式发布。你可以从 Ollama 官方获取镜像。

使用以下命令从 Docker Hub 拉取 Ollama 模型的 Docker 镜像：

docker pull ollama/large-model

3. 运行 Ollama 容器

使用以下命令运行模型，启动 Ollama：

docker run -d -p 8080:8080 ollama/large-model

• 这里，-d 表示后台运行，-p 将本地的 8080 端口映射到容器的 8080 端口。

4. 访问 Ollama

在浏览器中访问 http://localhost:8080，就可以与 Ollama 模型进行交互。如果 Ollama 提供了 API 接口，也可以通过编程方式调用。

5. 配置持久化存储（可选）

如果希望在模型容器中保存数据，可以将本地目录挂载到容器中。可以使用以下命令：

docker run -d -p 8080:8080 -v /path/to/local/dir:/path/in/container ollama/large-model

6. 优化和调整

根据硬件性能和业务需求，你可以调整 Ollama 的配置，比如指定 GPU 加速或者调整内存限制。

这样你就可以在本地成功部署 Ollama 大模型了。如果你有特定的模型需求，可能还需要从 Ollama 官方获取相关模型的具体部署说明。

方案二

1.先到ollama官方下载ollama的软件

下载地址: https://ollama.com/

2.在终端执行运行大模型的命令

注意：首次执行会比较慢，因为首次需要下载相关的大模型

ollama run llama3.1

运行效果：

退出大模型的快捷键： control+D