ubuntu本地部署llama3大模型

安装大模型

首先需要安装curl：

sudo apt install curl

然后安装 ollama，可以去ollama.com复制下载命令：

curl -fsSL https://ollama.com/install.sh | sh

然后就是启动ollama服务：

ollama serve

出现这个说明已经运行，然后需要修改ollama端口：

sudo nano /etc/systemd/system/ollama.service

在[service]最后面加上两行：

Environment=“OLLAMA_HOST=0.0.0.0”
Environment=“OLLAMA_ORIGINS=*”

ctrl+s保存，ctrl+x退出。用cat命令看一下：

cat /etc/systemd/system/ollama.service

ok，没问题的话。重新加载systemd守护进程并启用Ollama服务：

sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl stop ollama #关闭服务
sudo systemctl start ollama #启动服务

运行llama8b大模型：

ollama run llama3:8b

等待下载完成：

试一