在服务器上用Docker搭建自己的大模型运行环境

1.新建启动容器

sudo docker run -it --shm-size=10g --gpus=all -v /usr/bin/docker/study_demo -p 40010:22 -p 40011:40011 -p 40012:40012 -p 40013:40013 --name study_sl nvidia/cuda:11.8.0-devel-ubuntu22.04
(--shm-size=10g ——> 共享内存设置成10G)

2.更新包及安装常用软件

apt update
apt install vim openssh-server net-tools curl openssl git

3.修改root密码和语言

3.1修改密码

passwd

3.2修改语言支持

cd
vim .bashrc
export LANG=C.UTF-8
export LC_ALL=C.UTF-8
source ./bashrc

4.修改ssh配置

vim /etc/ssh/sshd_config
修改#PermitRootLogin prohibit-password 为 PermitRootLogin yes

5.退出容器并重启容器和SSHD

exit
sudo docker exec -d study_ljl /etc/init.d/ssh start -D

6.用XShell或FinalShell工具登录docker环境中

ip:docker容器端口 + 自己设置的密码

7.安装miniconda

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py312_24.4.0-0-Linux-x86_64.sh
sh Miniconda3-py312_24.4.0-0-Linux-x86_64.sh
source ~/.bashrc

8.创建3.10虚拟环境

conda create --name your_env_name python=3.10
conda activate your_env_name

9.更新默认镜像源

python -m pip install --upgrade pip
# 清华源——pip配置
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
# 清华源——conda通道配置
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
# 阿里源——pip配置
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
# 阿里源——conda通道配置
conda config --add channels https://mirrors.aliyun.com/anaconda/
conda config --add channels https://mirrors.aliyun.com/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.aliyun.com/anaconda/cloud/msys2/

10.安装pytorch

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

11.安装transformers和配置国内镜像

# 安装transformer库
pip install transformers
# 安装gradio库
pip install gradio 

12.安装VSCODE和配置插件

VScode官网链接：https://code.visualstudio.com/
插件（根据情况而定）：jupyter、jupyter keymap、python、Remote-SSH、Chinese(Simplified)

附录

1、筛选命令，如llama2为模型服务名
docker container ps -a|grep llama2

2、一些常用的docker命令
# 查看正在运行的docker
docker ps (-a:全部docker包括运行的与不运行的)
# 启动docker
docker start study_demo
# 进入运行的docker容器
docker exec -it study_demo /bin/bash
# 后台运行 ——> 运行之后可以进行工具直接连接到本容器
docker exec -d study_demo /etc/init.d/ssh start