本地部署基于LLama3知识库问答 （OLLama+Oneapi+Fastgpt）

1.使用docker搭建ollama容器

1.Install the NVIDIA Container Toolkit.

Configure the repository

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
    | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
    | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update

2.Install the NVIDIA Container Toolkit packages

sudo apt-get install -y nvidia-container-toolkit

3.Start the container

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

2.使用ChatOllama下载模型 以及体验模型

1.创建chatollama文件夹 然后下载docker-compose.yml
2.运行容器

docker-compose build
docker-compose up

3.首次运行需要初始化初始化SQLite数据库

docker compose exec chatollama npx prisma migrate dev

4.登录127.0.0.1:3000 访问chatOllama 配置ollama地址

5.下载embedding和chat模型 进行推理 以及可以插入本地数据库数据

3.Docker命令创建one-api容器(ip:3001):

sudo docker run --name oneapi -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data j