本地部署AI大模型

mac windows 同理

用到的软件 docker  ollama 大家可以到官网下载

在ollama官网选择models，这里面有用到的大模型

我用到的是 qwen2 ，这个对中文比较友好

注意，每个模型有不同的参数版本，参数量越大，对电脑配置越高，越聪明，一搬选择7b就可以了

复制一下给到的命令   ollama run qwen2:7b

打开终端，用管理员身份运行刚复制的命令

sudo ollama run qwen2:7b

 这时会进入下载，耐心等待下载完毕

这时候就可以聊天了

2、如果想用聊天框的形式 可以利用docker实现

首先电脑安装docker

接着安装 open-webui

找到How to Install下的第一个命令

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 打开命令行 把刚才复制的内容粘贴进去 等待安装

成功后如图

这时候docker里面就有刚下载的 open-webui了

打开

 打开后选择对应的模型

这时候就可以聊天了