llama3.1 本地化部署实践

借助ollama工具实现模型的本地部署使用，本地使用的操作系统为ubuntu 22.04

ollama安装

ollama地址：https://github.com/ollama/ollama

这里选择手动安装方式

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

ollama serve启动

ollama serve 

启动后日志输出如下，输出了服务默认的端口，及检测导的GPU等

模型下载使用

 llama3.1模型：

https://ollama.com/library/llama3.1:70b

ollama run llama3.1:8b

安装效果

70b因为内存最低要求25G，暂时使用8b

➜  software ollama run llama3.1:70b
Error: model requires more system memory (25.0 GiB) than is available (11.2 GiB)

顺便 qwen2 安装试用

通过ollama可快速实现开源大模型的部署试用。

网页界面webui使用

github地址：https://github.com/open-webui/open-webui

安装

git clone https://github.com/open-webui/open-webui.git
cd open-webui/

# Copying required .env file
cp -RPp .env.example .env

# Building Frontend Using Node
npm i
npm run build

# Serving Frontend with the Backend
cd ./backend
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt -U

在backend启动

bash start.sh

ps:

另外，open-webui安装过程中，需要连接'https://huggingface.co' 网站，会报错无法连接。

通过简单设置镜项站点解决，具体环境变量设置：export HF_ENDPOINT=https://hf-mirror.com/

运行效果：

浏览器中输入地址：http://localhost:8080/

以上分别是一个问题，llama3.1:8b与qwen2的回答