服务器使用配置unsloth以及docker，ollama，以及对整个服务器环境的配置

服务器使用配置unsloth以及docker，ollama，以及对整个服务器环境的配置

需要做的：

1.安装anaconda3

2.安装docker，docker的gpu环境

3.安装依赖环境

4.在docker中安装ollama，安装pgvector等

5.配置unsloth

6.让LLaMA3运行起来

1.网络方面

查看防火墙

ufw status

添加端口开启

sudo ufw allow 22

iptables -nvL

添加用户

sudo useradd -r -m -s /bin/bash munan
sudo passwd 。。。 #设置密码
切换用户
su 。。。

2.安装docker

首先，更新apt命令

sudo apt-get update
在测试或开发环境中 Docker 官方为了简化安装流程，提供了一套便捷的安装脚本，Ubuntu 系统上可以使用这套脚本安装，另外可以通过 --mirror 选项使用国内源进行安装：
curl -fsSL get.docker.com -o get-docker.sh
sudo sh get-docker.sh --mirror Aliyun

添加用户

#将当前用户加入用户组
sudo gpasswd -a $USER docker
修改并保存完成后，重新加载守护并重启socket即可

sudo systemctl daemon-reload
sudo systemctl restart docker.socket

在docker中安装ollama

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
    
sudo apt-get update  # 更新源
sudo apt-get install -y nvidia-container-toolkit
此为gpu安装工具包

安装ollama命令
此为cpu版本
docker run -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
gpu版本
docker run --gpus all -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

#以export import方式
docker export 容器名字 > container.tar
cat container.tar | docker import - <新容器名称>

#save load方式
docker save -o my-open-webui-image.tar my-open-webui-image
docker load -i my-open-webui-image.tar
这会将my-open-webui-image.tar文件中的镜像加载到Docker中，之后你就可以像使用任何其他本地镜像一样使用它了
docker run -it -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v /path/on/target/machine/open-webui:/app/backend/data \
  --name new_open_webui \
  my-open-webui-image
  
 请确保替换/path/on/target/machine/open-webui为目标电脑上的实际路径。

通过以上步骤，你就能成功地将一个Docker容器转换为镜像，并将其转移到另一台电脑上使用了

3.安装ollama

curl -fsSL https://ollama.com/install.sh | sh

若您需要查看Ollama的运行日志，特别是在遇到问题需要调试时，可以使用以下命令：

journalctl -u ollama

如果决定不再使用Ollama，可以通过以下步骤将其完全从系统中移除：

（1）停止并禁用服务：

sudo systemctl stop ollama
sudo systemctl disable ollama

（2）删除服务文件和Ollama二进制文件：

sudo rm /etc/systemd/system/ollama.service 
sudo rm $(which ollama)

（3）清理Ollama用户和组：

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

通过以上步骤，不仅能够在Linux平台上成功安装和配置Ollama，还能够灵活地进行更新和卸载。

模型存放路径：

Linux: /usr/share/ollama/.ollama/models

4.检测GPU的使用情况命令

watch -n 1 nvidia-smi  # 其中的1为1s刷新一次

5.从hugging Face上面下载模型，以git的方式

git clone git@hf.co:unsloth/llama-3-8b-bnb-4bit

这样建立的将是ssh连接，若以链接的方式建立，由于网络问题，会无法clone下来

对模型进行量化操作

make clean && make all -j

python convert-hf-to-gguf.py /home/munan/fine_tune/lora_quantity_models/lama3-instruct/model
#后面跟的是模型保存得路径，先将其转换为gguf格式
./quantize /home/munan/fine_tune/lora_quantity_models/lama3-instruct/model/ggml-model-f16.gguf /home/munan/fine_tune/lora_quantity_models/lama3-instruct/quantity/ggml-model-q4_0.gguf q4_0
#该命令是对模型进行量化，后面得q4_0为进行4位量化

6.给用户赋予一个文件夹下的所有权限

chown +u

7.从docker中删除模型

docker exec -it ollama-gpu /bin/bash -c 'ollama rm travel_llama3'
#将modelfile.txt复制一份到其他地方
docker exec -it ollama-gpu bash
#以交互式方式进入容器
# 将modelfile.txt移动到容器内
docker cp /home/munan/fine_tune/lora_quantity_models/{your_path}/quantity/ ollama-gpu:/home/{your_path}/quantity/

8.将模型导入到docker的ollama中

 docker exec -it ollama-gpu /bin/bash -c "ollama create travel_llama3 -f /home/{your_path}/quantity/Modelfile.txt"

ollama官方地址

ollama/docs/import.md at main · ollama/ollama (github.com)